Publicatiedatum: 4 januari 2024

ChatGPT blijkt 83 procent van de tijd fouten te maken met medische diagnoses voor kinderen, bleek uit een onderzoek van JEMA Pediatrics. Desondanks is generatieve AI een veelbelovende technologie voor de gezondheidszorg, stelt men.

Het onderzoek richtte zich specifiek op ChatGPT met GPT-4 als achterliggend model. OpenAI stelt deze variant van de chatbot beschikbaar via de betaalde dienst ChatGPT Plus.

In het onderzoek werden 100 medische gevallen in de kindergeneeskunde aan de chatbot voorgelegd. Daarvan waren er 83 incorrect gediagnosticeerd door ChatGPT, waarvan er 11 te breed geformuleerd waren. Volgens de onderzoekers laat het aantal fouten zien dat de AI-tool niet genoeg verbanden legt, zoals tussen autisme en vitaminetekorten.

Ook meent men dat de door OpenAI gebruikte dataset te veel fouten bevat. GPT-4 is gebaseerd op een grote hoeveelheid internetgegevens die niet uitvoerig op feiten gecontroleerd zijn. Daartegenover plaatsen de JEMA Pediatrics-onderzoekers Med-PaLM 2. Dit model van Google is getraind op medische informatie en zou daarmee een stuk veelbelovender zijn.

Bron: Techzine