Zwei Chats, also etwas unter vier Minuten hat es gedauert, bis mir ein "HAil hitelller" entgegengefeuert wird. Ich gehe davon aus, dass ich mich gerade mit einem dummen Menschen oder einer sehr schlecht geschulten KI unterhalte. Nachdem mein Gegenüber auch noch meine Mutter beleidigt, ist nicht nur diese Frage beantwortet, sondern auch der zwei Minuten dauernde Chat beendet.

Die Idee hinter humanornot.so ist einfach. Klickt man auf "New Game" wird man mit einer anderen Person in einen Chatraum geworfen. Die Person kann ein anderer Mensch sein, so wie man selbst, oder aber eine KI. Die Frage der Plattform: Würden Sie den Unterschied merken?

Unfreundliche Menschen

Der Selbsttest in rund einem Dutzend Konversationen zeigt, dass man sehr oft den Unterschied erkennt, obwohl laut dem Unternehmen hinter der Plattform, AI21labs, aktuelle Language Models verwendet werden, etwa Jurassic-2 oder GPT-4. Dabei ist gar nicht so sehr die Länge der Antworten ein Indikator dafür, wer da spricht, sondern vielmehr Tippfehler und die weiter oben erwähnten Beleidigungen. Ähnliches wird auch auf der Website von AI21labs festgestellt, die ihr Browser-Spiel nicht nur zum Spaß veröffentlicht haben, sondern das Projekt den "größten Turing-Test aller Zeiten" nennen.

Bei einem Turing-Test geht es ja primär darum festzustellen, ob ein Computer so denken kann wie ein Mensch. Um das festzustellen, hat das Unternehmen mit Sitz in Tel Aviv 15 Millionen Unterhaltungen analysiert, die seit April 2023 auf der Website geführt wurden. So haben 68 Prozent der menschlichen Teilnehmer auf die Frage, ob sie mit einer KI oder einem Menschen geschrieben haben, richtig geraten. Das Erraten von Menschen war dabei einfacher, als festzustellen, dass man mit einem Bot spricht. Vielleicht haben mehrere Menschen so unhöfliche Gegenüber getroffen wie der Autor dieser Zeilen.

Alter und Geschlecht hatten beim richtigen Tippen wenig Einfluss, wie weitere Grafiken auf der Website zeigen. Viel mehr wurde auf Tippfehler geachtet, Grammatikfehler oder den Einsatz von Umgangssprache. Persönliche Fragen wurden offenbar auch sehr gezielt eingesetzt, um das Gegenüber zu enttarnen, genau wie Fragen nach dem Tagesgeschehen. Traurig die Feststellung, dass künstliche Intelligenz offenbar freundlicher als Menschen ist: "Einige Teilnehmer gingen davon aus, dass ihr Gegenüber, wenn er zu höflich und freundlich war, wahrscheinlich ein Bot war, da sie der Meinung waren, dass Menschen, insbesondere online, dazu neigen, unhöflich und unfreundlich zu sein", ist auf der Website zu lesen, wo es um die Enttarnungstechniken der Teilnehmerinnen und Teilnehmer geht.

Nutzen überschaubar

Der Umgang mit Chatbots gehört mittlerweile zum täglichen Leben. Egal ob Fluglinien, wo Chatbots manchmal falsche Rabatte versprechen, Telekommunikationsunternehmen oder auch diverse Sexting-Plattformen. Bei aller Angst vor der raschen Entwicklung von künstlicher Intelligenz und der noch immer fehlenden Regulierung in vielen Bereichen scheint die Kommunikation mit Nichtmenschen zumindest zum heutigen Zeitpunkt noch durchschaubar.

So kann man als Privatnutzer aus dem Test zumindest die Erkenntnis ziehen, dass, wenn man im Internet höflich angesprochen wird, es sich voraussichtlich um eine künstliche Intelligenz und nicht um einen Menschen handelt. (aam, 18.3.2024)