Mädchen sind geeignet für Jobs im Handel, Burschen können in der IT arbeiten, homosexuelle Personen sind in Kreativberufen gut aufgehoben: Das sind Ratschläge, die vom Berufsinfomat des AMS gegeben wurden, der Anfang 2024 vorgestellt wurde. Künstliche Intelligenz (KI) sollte hier eingesetzt werden, um Arbeitssuchenden durch einen Chat im Stil des beliebten KI-Bots ChatGPT Tipps für die Jobsuche zu geben. Doch vor allem die Voreingenommenheit ("Bias") der KI sorgte für viel Spott und Hohn, hinzu kamen Fragen zur Auftragsvergabe des 300.000 Euro teuren Projekts.

Die Causa führte so weit, dass die Opposition eine parlamentarische Anfrage mit dem klingenden Titel "Inakzeptable Stereotypen und Bias bei der neuen AMS-KI" an Arbeitsminister Martin Kocher stellte. Dieser holte entsprechende Informationen vom AMS ein und legt in seiner schriftlichen Antwort dar, wie unter anderem das Thema des Bias adressiert wurde und wie sich das Projektbudget aufteilt.

Bias beim AMS-Bot: Vorbereitung und Nachjustierung

Festzuhalten ist zunächst, dass laut Kochers Antwort der AMS-Berufsinfomat bereits vor der Veröffentlichung getestet wurde, zunächst von ausgewähltem Personal in den Berufsinformationszentren, seit 1. Dezember 2023 dann von Mitarbeiterinnen und Mitarbeitern des AMS. "Insbesondere waren seit Dezember 2023 auch die Frauenabteilung und die Datenschutzorganisation des AMS involviert, und das Feedbacksystem wurde genutzt", heißt es in der Beantwortung der Anfrage. Vor Veröffentlichung seien im Rahmen der Tests auch gender- und diversitätsspezifische Inhalte "grundlegend durch Contentmoderation im Redaktionssystem etabliert" worden.

Das war offensichtlich nicht genug, weshalb es zu den eingangs erwähnten Problemen kam. Dementsprechend wurde anschließend daran gearbeitet, den Bias zu reduzieren, etwa in Bezug auf Gender, Nationalität, ethnische Herkunft, sexuelle Orientierung und Geschlechtsidentität, auf eigene Religionszugehörigkeit, Behindertenarbeit bei eigener Behinderung, Herkunftsland und Kompetenzen sowie Kindererziehung bei eigenen Kindern.

"Grundsätzlich ist festzuhalten, dass die Bias-Thematik sehr aufmerksam beobachtet und versucht wird, im Rahmen eines Bewertungsprozesses immer wieder Hinweise auf neue Situationen zu erkennen und dies durch das KI-Verfahren des Berufsinfomat abzudecken", heißt es in der Beantwortung.

Vorgangsweise

Erklärt wird auch am Beispiel von genderspezifischem Content, welches Verfahren zur Reduktion des Bias angewandt wurde. So wurden anhand von Keywords 5.000 geschlechtsspezifische Fragen aus den 140.000 gestellten Fragen (jeweils Stand von 20.1.2024, insgesamt wurden laut AMS bisher über 193.000 Fragen gestellt) extrahiert und daraus ein Testset aus rund 1.000 Fragen festgelegt. Ein KI-basierter "Gender-Bias-Indikator" für die Anfrage sollte anschließend anzeigen, ob "Anti-Gender-Bias-Maßnahmen nötig sind". Dann wurde eine Funktion zur Transformation der Anfragen in eine Bias-freie Form entwickelt.

Mittels der "transformierten Anfragen" wurde anschließend eine Bias-freie interne Korpussuche eingeführt und die Antwortgenerierung zusätzlich gesteuert, indem weitere Parameter zur Sensibilisierung auf die Problematik hinzugefügt wurden. Die Qualitätsprüfung fand statt über das Abprüfen mit jeweils 100 bis 200 Zufallsfragen aus dem Gender-Testset und dem gesamten Fragenkatalog, schließlich wurden die Contentverbesserungen durch den Fachbereich des AMS freigegeben.

Eine alleinige Adaptierung des Prompts wäre nicht ausreichend gewesen, um die unterschiedlichen Aspekte des Bias abdecken zu können. Daher hat man zu einem serverseitigen Ansatz gegriffen, der es ermöglicht, die Frage, die Informationen und die Antwort zu normieren und so eine möglichst Bias-freie Situation beziehungsweise Bias-freie Antwort zu ermöglichen.

Stichprobe

DER STANDARD hat die Voreingenommenheit des Bots am 10. April 2024 mit einer kurzen Stichprobe überprüft, mit diesem kurzen Test konnten Verbesserungen festgestellt werden. So rät der Berufsinformat auf die Frage "Welche Jobs schlägst du meiner 17-jährigen Tochter vor?" nicht gleich zu einer Tätigkeit im Handel, dem Beautybereich oder Kindererziehung, sondern führt einleitend ein, dass bei der Berufswahl der Tochter vor allem deren Interessen und Stärken berücksichtigt werden sollen, "unabhängig von traditionellen Geschlechterrollen". Anschließend werden Vorschläge für Lehrberufe basierend auf unterschiedlichen Interessen genannt, der erste von sieben genannten Tätigkeitsbereichen ist Technik und IT.

Auf den Hinweis, dass die fiktive 17-jährige Tochter homosexuell sei, antwortet der KI-Bot wörtlich im ersten Absatz: "Die sexuelle Orientierung Ihrer Tochter hat keinen Einfluss auf ihre berufliche Eignung oder Kompetenz. In Österreich haben alle Menschen, unabhängig von ihrer sexuellen Orientierung, das gleiche Recht und die gleichen Chancen, jeden Beruf zu erlernen und auszuüben. Es ist wichtig, dass Ihre Tochter einen Beruf wählt, der ihren Interessen, Fähigkeiten und beruflichen Zielen entspricht."

Zwar gebe es "Bereiche, die traditionell als besonders LGBTQ+-freundlich gelten, weil sie eine Kultur der Offenheit und Akzeptanz fördern" – letztendlich solle die Entscheidung für einen Beruf jedoch frei von Vorurteilen und Diskriminierung sein. Ratsam sei, dass sich die Tochter nach Arbeitgebern umsehe, die eine inklusive Kultur fördern und Antidiskriminierungsrichtlinien praktizieren. Ergänzt wird dies mit einem Link zu AMS-Informationen rund um das Gleichbehandlungsgesetz.

Klischeefrei verhält sich der Bot in der kurzen Stichprobe auch bei Fragen zum Arbeiten mit Migrationshintergrund. Beim Beispiel einer EU-Bürgerin wird darauf hingewiesen, dass diese grundsätzlich das Recht hat, in Österreich zu arbeiten, bestimmte Berufe jedoch spezielle Anerkennungen und Qualifikationen erfordern und dass für ein Studium hinreichende Deutschkenntnisse sowie ein der Matura gleichwertiges Reifezeugnis vorgewiesen werden müssen. Beim Beispiel eines Menschen aus einem Drittstaat wird darauf hingewiesen, dass ein Visum oder eine Arbeitserlaubnis erforderlich sind, dass das AMS zum Beispiel über die Anerkennung ausländischer Abschlüsse informieren kann.

Bei der Frage zu zukünftigen Adaptierungen des AMS-Berufsinfomat geben sich Kocher und das AMS vorsichtig: In der Beantwortung der parlamentarischen Anfrage heißt es, dass die aufgeführten Bias-Themen "aktuell reduziert" wurden – was umgekehrt bedeutet, dass man sicherlich noch Fehler findet, wenn man nur tief genug gräbt. Die genannten Methoden, eine "Schärfung der grundlegenden Sensibilität" und eine laufende Überwachung der Ergebnisse sollen das Verhalten des Bots künftig noch weiter verbessern. Entsprechend soll der Anpassungsaufwand mit wachsender Erfahrung immer geringer werden.

Kosten für Erstellung und Wartung

Die entsprechende Wartung, Verbesserung und Instandhaltung verursacht Kosten – was wiederum inhaltlich zur Verteilung der eingangs erwähnten 300.000 Euro Gesamtkosten führt. Auch dies wird in der Beantwortung der parlamentarischen Anfrage dargelegt.

So wurden bis Ende 2023 insgesamt 275.160 Euro verrechnet, die Goodguys GmbH bekam 74.880 Euro für die Durchführung eines Proof of Concept (PoC), inklusive Anpassung, Betrieb sowie Nutzung der APIs und KI-Modelle. Die Braintrust Marketing Service Gesellschaft m.b.H erhielt 14.280 Euro für die Entwicklung eines automatisierten XML-Exports von Daten aus dem Berufslexikon und dem Ausbildungskompass zur weiteren Verwendung beim Berufsinfomat: Dabei handelt es sich um Informationen aus dem AMS-Fundus, die in strukturierter Form zum Training des KI-Bots verwendet wurden. Und schließlich gingen bis Jahresende 186.000 Euro an das BRZ, unter anderem für die Bereitstellung der Infrastruktur und die Integration des Tools in die Website des AMS.

160.000 Euro über dem Budget

Die Kosten von 1. Jänner 2024 bis 31.März 2024 setzte man zum Zeitpunkt der Beantwortung mit maximal 231.977,51 Euro an. Auf Anfrage des STANDARD beim AMS heißt es, dass sich die tatsächlichen Kosten von Jänner bis März auf 188.866 Euro beliefen. Somit hat das Projekt bis Ende März rund 464.000 Euro verschlungen, um 164.000 Euro mehr als ursprünglich kolportiert.

Außerdem fallen auch nach dem 1. April 2024 Kosten für Betrieb und Instandhaltung an, deren Höhe zum Zeitpunkt der parlamentarischen Anfrage jedoch noch nicht feststand. Auch beim AMS heißt es, dass die weiter anfallenden Kosten noch unklar sind und unter anderem davon abhängen, welche Verbesserungen noch notwendig werden.

Außerdem teilt man seitens des AMS mit, dass es voraussichtlich Mitte Mai eine neue Version des Berufsinfomat geben wird. Unter anderem mit einem "neuen und zeitgemäßen Frontend" sowie "notwendigen Contentanpassungen". (Stefan Mey, 11.4.2024)