Bis zu 35.000 Entscheidungen treffen wir täglich, heißt es. Auch wenn wir es anders empfinden, entscheiden wir aber großteils nicht mit dem Kopf, sondern mit dem Bauch. Wir lassen uns dabei bis zu 80 Prozent von nonverbaler Kommunikation leiten und reagieren auf einer emotionalen Ebene (Eisberg-Theorie nach Watzlawick). Diese verhaltensökonomischen Aspekte machen sich Dark Patterns zunutze. Künstliche Intelligenz (KI) hebt das Risikopotenzial nun auf eine neue Ebene.
Dark Patterns bezeichnen manipulative Designs oder Prozesse, die Nutzer zu unbewussten, verbraucherschädigenden Handlungen verleiten. Dieses Phänomen begegnet uns vor allem im digitalen Alltag. Wer kennt es nicht? Beim Cookie-Banner springt uns der knallgrüne Button "Alles akzeptieren" an. Durch visuelle Tricks werden wir verleitet, automatisch darauf zu klicken. Der Warenkorb beginnt sich selbst zu befüllen und setzt uns mit Angaben wie "Das letzte Stück nur noch 30 Sekunden für dich reserviert" unter Kaufdruck. Oder diverse Apps suggerieren die Erforderlichkeit der Standortfreigabe für die Nutzung des Diensts.
Die Strategien im dunklen Marketing sind vielseitig und beschäftigen den Verbraucherschutz schon seit Jahrzehnten. Nicht umsonst haben sich für die beispielhaft genannten Methoden sogar eigene Bezeichnungen etabliert, wie "Stirring", "Sneak into Basket", "Countdown" und "Privacy Zuckering". Dem wollen Regelungen im Werberecht, Informationspflichten im Konsumentenschutzrecht, der datenschutzrechtliche Transparenzgrundsatz und das Verbot der Täuschung im Digital Services Act entgegenwirken. Sie verfolgen ein gemeinsames Ziel: die Schaffung einer informierten Entscheidungsgrundlage. Der Werkzeugkasten an Dark Patterns wird aber zunehmend raffinierter. Die KI-Verordnung greift den Schutzgedanken nun aus einem anderen Blickwinkel auf.
Strengere Vorgaben
Wird KI zur optimierten Beeinflussung eingesetzt, kann die Anwendung nach der KI-Verordnung verboten sein. Konkret betrifft das KI-Systeme, die erstens Techniken der unterschwelligen Beeinflussung außerhalb des Bewusstseins, absichtlich manipulative oder täuschende Techniken einsetzen, zweitens das Verhalten wesentlich verändern, drittens eine fundierte Entscheidung beeinträchtigen und viertens zu einem erheblichen Schaden führen (können).
Das ist etwa der Fall, wenn KI-gestützte Personalisierung im Marketing durch gezielte Reizsetzung in Form von Tönen, Bildern oder Videoinhalten erfolgt. Der verpönte Aspekt dabei ist, dass dies für den Nutzer nicht erkennbar ist oder damit seine freie Entscheidungsfindung untergraben wird. Abseits des personalisierten Marketing ist das Risiko der Beeinflussung auch in virtuellen Realitäten oder bei Brain-Computer-Interfaces sehr hoch.
Gerade Letzteres ist besonders spannend. Solche Schnittstellen ermöglichen, dass auch Menschen mit Einschränkungen (zum Beispiel Querschnittsgelähmte) ihre Hirnaktivität in Steuersignale von Computern, Robotern oder Prothesen übersetzen, um etwa selbst trinken oder gehen zu können. Diese Technologie kann auch dafür eingesetzt werden, einen Arzttermin zu buchen oder Essen zu bestellen, bevor wir merken, dass wir einen Bedarf haben. Wenn dadurch ein "erheblicher" Schaden entsteht oder droht, ist das Ausnützen dieser Technik untersagt. Die KI-Verordnung regelt nicht, ab wann ein solcher Schaden beachtlich ist. Es kommt wohl auf die Umstände des Einzelfalls an, wobei nicht nur monetäre Nachteile, sondern auch sonstige Schäden, wie etwa umfassende Offenlegung von Daten, relevant sein können.
Bei verbotenem Einsatz von KI-Dark-Patterns drohen Geldbußen bis zu 35 Millionen Euro oder sieben Prozent des Umsatzes im vorangegangenen Geschäftsjahr. Manipulation im Marketing kann also sehr teuer werden. Der Verbotskatalog ist bereits sechs Monate nach Inkrafttreten der KI-Verordnung anwendbar. Organisationen sind daher gut beraten, im Zuge ihrer Bestandsanalysen auch einen Fokus auf Personalisierungen, (Re-)Targeting, Kunden-Chatbots und die gesamte Customer-Journey zu legen. Diese Use-Cases sind bei einem allfälligen KI-Einsatz prädestiniert dafür, Dark Patterns zu enthalten. (Axel Anderl, Alexandra Ciarnau, 29.6.2024)