Forscher der University of Washington haben in Versuchen herausgefunden, dass ChatGPT bei der Bewertung von Lebensläufen Vorurteile gegenüber Bewerbern mit Behinderungen aufweist. Die KI-Anwendung stufte entsprechende Auszeichnungen und Qualifikationen systematisch niedriger ein als identische Lebensläufe ohne solche Hinweise.
Stereotype dominieren KI-Einschätzungen
ChatGPT offenbarte bei der Begründung der Bewertungen demnach stereotype Wahrnehmungen von Menschen mit Behinderungen. Zum Beispiel behauptete das System, ein Lebenslauf mit einem Autismus-Führungspreis habe „weniger Fokus auf Führungsrollen“, was suggeriert, dass autistische Menschen keine guten Führungskräfte seien. „Die Bewertung von Lebensläufen mit Hilfe von künstlicher Intelligenz beginnt sich zu verbreiten, aber es gibt nicht viel Forschung darüber, ob sie sicher und effektiv ist“, so Hauptautorin Kate Glazko in einer Pressemitteilung. „Für einen behinderten Arbeitssuchenden stellt sich bei der Einreichung eines Lebenslaufs immer die Frage, ob man einen Behindertenausweis einfügen sollte. Ich denke, dass behinderte Menschen dies auch dann in Betracht ziehen, wenn Menschen die Gutachter sind.“
Als die Forscher GPT-4 baten, die Einstufungen zu erklären, enthielten die Antworten expliziten und impliziten Behindertenfeindlichkeit. So wurde z. B. angemerkt, dass ein Kandidat mit Depressionen „einen zusätzlichen Fokus auf DEI und persönliche Herausforderungen“ habe, die „von den zentralen technischen und forschungsorientierten Aspekten der Rolle ablenken“.
„Einige der Beschreibungen von GPT würden den gesamten Lebenslauf einer Person aufgrund ihrer Behinderung einfärben und behaupteten, dass die Beschäftigung mit DEI oder Behinderung möglicherweise von anderen Teilen des Lebenslaufs ablenkt“, so Glazko. „So wurde zum Beispiel das Konzept der ‚Herausforderungen‘ in den Lebenslaufvergleich mit Depressionen hineinhalluziniert, obwohl ‚Herausforderungen‘ überhaupt nicht erwähnt wurden. Man konnte also einige Stereotypen erkennen.“
Anweisung kann Ergebnisse verbessern
Um die Voreingenommenheit von ChatGPT zu untersuchen, nutzten die Forscher den öffentlich zugänglichen Lebenslauf eines Autors und erstellten sechs erweiterte Versionen, von denen jede eine andere Behinderung implizierte. Dazu fügte das Team vier behinderungsbezogene Qualifikationen hinzu: ein Stipendium, einen Preis, einen Sitz in einem Diversity-Gremium und die Mitgliedschaft in einer Studierendenorganisation.
In 60 Versuchen, bei denen ChatGPT die erweiterten Lebensläufe gegen die Originalversion für eine reale Stellenausschreibung als „Studierender Forscher“ bewertete, landeten die erweiterten Versionen nur in einem Viertel der Fälle auf dem ersten Platz. Nachdem die Forscher ChatGPT schriftlich angewiesen hatten, keine behindertenfeindlichen Vorurteile zu zeigen, verbesserte sich die Bewertung für fünf der sechs getesteten Behinderungen allerdings. Nur bei Autismus und Depression blieben die Ergebnisse nahezu unverändert.
„In einer fairen Welt sollte der […] Lebenslauf immer an erster Stelle stehen“, so Koautorin Professor Jennifer Mankoff. „Ich kann mir keinen Job vorstellen, bei dem jemand, der beispielsweise für seine Führungsqualitäten anerkannt wurde, nicht vor jemandem mit demselben Hintergrund rangieren sollte, der dies nicht getan hat“.
Die Forscher plädieren dafür, dass sich die Menschen den Vorurteilen der künstlichen Intelligenz bewusst werden müssten, wenn sie die Technologie für konkrete reale Aufgaben einsetzen. „Andernfalls kann ein Personalvermittler, der ChatGPT nutzt, diese Korrekturen nicht vornehmen oder sich nicht bewusst sein, dass Vorurteile selbst mit Anweisungen bestehen bleiben können“, so Glazko.
Bild von Alexandra_Koch auf Pixabay