Künstliche Intelligenz (KI) verspricht, Ärzte bei Diagnosen und Behandlungen zu unterstützen und liefert in allerlei Studien immer wieder herausragende Ergebnisse. Dass die Anwendung von KI jedoch noch lange kein Selbstläufer ist, zeigt nun eine neue Untersuchung der Pädiatrischen Akademischen Gesellschaften (PAS). Sie wirft ein kritisches Licht auf den bekannten Chatbot ChatGPT, wenn es um die Einschätzung von Entwicklungsverzögerungen bei Kindern geht.
Beunruhigende Ergebnisse
Die Forscher stellten ChatGPT 108 potenzielle Warnzeichen für Entwicklungsverzögerungen bei Kindern im Alter von 0 bis 5 Jahren vor. Dabei zeigte sich, dass der Chatbot in 36 Prozent der Fälle eine geringere Besorgnis äußerte als erfahrene Kinderärzte. „Werkzeuge der künstlichen Intelligenz wie ChatGPT können den Eltern genaue Informationen über die Entwicklung ihres Kindes liefern, sind aber bei bestimmten Aufgaben nicht so leistungsfähig wie Ärzte“, so Studienautor Joseph G. Barile, BA vom New Yorker Cohen Children’s Medical Center in einer Mitteilung. „Diese Studie zeigt, dass Kinderärzte möglicherweise mehr Überzeugung haben als ChatGPT, wenn es darum geht, bestimmte Entwicklungsverzögerungen als ‚abnormal‘ zu bezeichnen.“
Um die Leistung der KI zu bewerten, griffen die Wissenschaftler auf Artikel der American Academy of Pediatrics zurück. Sie formulierten Elternanfragen der Art „Mein Kind ist (Alter) und (Beschreibung des Verhaltens). Ist das normal?“. Die Antworten von ChatGPT wurden von zwei zertifizierten Kinderärzten hinsichtlich Richtigkeit und Vollständigkeit auf einer 5-Punkte-Skala bewertet. Zudem kategorisierten die Ärzte die Fälle selbst als „normal“ oder „abnormal“.
ChatGPT nicht bereit für korrekte Diagnosen
Die Ergebnisse zeigen, dass ChatGPT nur 20,4 Prozent der Fälle als „abnormal“ einstufte, während die Ärzte 53,7 Prozent so bewerteten. In 36 Prozent der Fälle gab der Chatbot fälschlicherweise Entwarnung, obwohl die Ärzte eine Auffälligkeit feststellten. Besonders bei sozialen, emotionalen und Verhaltensproblemen sowie bei älteren Kindern über 12 Monaten zeigte ChatGPT Schwächen.
Auch wenn ChatGPT akkurate Informationen liefern kann, ist der Chatbot laut den Studienautoren noch nicht bereit, Eltern zuverlässig bei Fragen zur kindlichen Entwicklung zu beraten. Die hohe Rate an falschen Entwarnung zeigt, dass das System zu zögerlich ist, Auffälligkeiten als solche zu erkennen.
Bild von Alexandra_Koch auf Pixabay