Halluzinationen

KI-Systeme tun sich schwer mit der Erkennung der Grenzen ihrer Leistungsfähigkeit. Mit der Entfernung von den Daten aus der Trainingsstichprobe wächst dieses Problem. Dann müssen sich die Systeme in den Bereich der Extrapolation aus ihrer ursprünglichen Domain begeben. Nun laufen sie Gefahr, etwas zu tun, das verniedlichend als Halluzinieren beschrieben wird. Die durch Wahrscheinlichkeitsrechnung getriebene Suche greift jetzt ins Leere und fängt an, zu fantasieren. Eigentlich weniger wahrscheinliche Ergebnisse können mangels Vergleich als hochwahrscheinlich dargestellt werden. In Aussagesätze verpackt verleiht dies dem Ergebnis den Eindruck von Objektivität. Menschen, die diese technischen Hintergründe nicht kennen, vertrauen den Aussagen und stellen keine kritischen Fragen mehr. Dies kann schwerwiegende Folgen haben. Etwas drastischer ausgedrückt: KI kann buchstäblich Schwachsinn produzieren - sie erfindet auf der Grundlage von Trainingsdaten Dinge, die gut klingen, oder noch nicht einmal das, wie folgendes Beispiel zeigt..

Auch eine noch so große Datenmenge bildet nicht alle Situationen der Realität repräsentativ ab, und die Systeme tun sich schwer, diese Grenze zu erkennen. Sie neigen dann zu besagten Halluzinationen.

Technischer Hintergrund

Nehmen wir an, für eine Benutzeranfrage findet das System in seinen Trainingsdaten überhaupt kein ähnliches Muster für eine Antwort. Die ermittelte Wahrscheinlichkeit ist buchstäblich Null. Mit Nullen lässt sich aber schlecht rechnen. Da für komplexe Ereignisse oder Sachverhalte die Wahrscheinlichkeit sich aus dem Produkt der Einzelwahrscheinlichkeiten berechnet, bleibt alles bei Null.

Eine Möglichkeit, aus dieser Bredouille herauszukommen, ist ein Trick, der manchmal angewendet wird: Man ordnet der Anfrage eine klitzekleine Wahrscheinlichkeit zu. Das fällt im Vergleich zu den millionenfach höheren Wahrscheinlichkeiten der Umgebung weiter nicht auf - und ist ja auch keine richtige Lüge, denn eine Wahrscheinlichkeit von ein Zehnmillionstel im Vergleich zu Null ist ja nicht fundamental falsch. Aber nun kann das System mit der kleinen Kleinstwahrscheinlichkei rechnen, und findet mit Bestimmtheit irgendwas. Das ist zwar nicht sehr wahrscheinlich, aber das merkt das System nicht. Auf keinen Fall merkt es die Benutzerin oder der Benutzer, denn dieser Person wird nicht verraten, auf welchem unsicheren Terrain das System sich befindet.