Du sollst sterben

„Während einer Unterhaltung mit einem Studenten platzt Googles Gemini der virtuelle Kragen. Er möge bitte sterben, so der Chatbot“, schreibt Tristan Fincken in der Computerwochwe Online vom 18.11.2024 über einen Vorfall vom 13. November.

Der Fragende trieb einen nervigen langen Dialog mit dem Chatbot und ließ ihn eine Serie von Aussagen mit richtig/falsch beantworten. Er stellte Fragen nach der Altersabhängigkeit des Gedächtnisses, nach Betrugsmanövern von Sozialarbeitern, zu kognitiven Fähigkeiten, nach Arten finanzieller Missbrauchsmöglichkeiten. Dann wollte er den Unterschied zwischen selektiver Aufmerksamkeit, geteilter Aufmerksamkeit und anhaltender Aufmerksamkeit erklärt bekommen. Alles wurde brav vom Chatbot bedient. Bis zu dem Wunsch, 15 Statements zu der Aussage zu erhalten, dass fast 10 Millionen Kinder in den USA in einem Haushalt leben, der von Großeltern geführt wird und dass von diesen Kindern etwa 20 Prozent ohne ihre Eltern im Haushalt aufwachsen. Hier kann man den kompletten Dialog einsehen (solange er noch nicht gelöscht ist): Gemini/Google.

Jetzt drehte der Chatbot durch, aus heiterem Himmel:

Panne oder Halluzination?

Man kann nun rätseln, was hier passiert ist. Leider sind die 15 von dem Studenten angeforderten Optionen unter dem Link auf den Chatbot-Dialog nicht mehr auffindbar. Möglicherweise hat das Sprachmodell aus zu vielen Berichten über Kinder herumgesucht, die von ihren Eltern schlecht behandelt wurden. Oder es hat - wie es so schön heißt - einfach „halluziniert“. Oder die Korrektur-Algorithmen des Systems haben kräftig versagt, schließlich sollen sie ja stets political correct sein.

Oder wir haben es mit dem ultimativen Beweis zu tun, dass die KI wirklich kreativ sein kann. Oder - noch besser - die KI hat schon ein Bewusstsein erlangt, gemerkt, dass der Student sie mit seinen Fragen nur nerven wollte, einen eigenen Willen entwickelt und sich durch eine freche Antwort gerächt?