Chatbots an den Grenzen ihres Wissens

Zuweilen haben Chatbots eine schlechte Presse. Ihnen wird vorgeworfen, es mit der Wahrheit nicht so genau zu nehmen. Deshalb auch die Produktwarnung

Kann Spuren von Halluzinogenen enthalten.

Klingt bei ChatGPT etwas bescheidener:

ChatGPT can make mistakes. Check important info.

So stellt sich die Frage: Was hat es mit diesem Halluzinieren auf sich? Dazu ist ein bisschen Hintergrundwissen nützlich, das Wichtigste in Kürze:

Chatbots beruhen auf Large Language Models, die mit Billiarden von Daten trainiert wurden und ihre Antworten nach Gesetzen der Statistik und Wahrscheinlichkeitsrechnung aus diesem riesigen Daten-Pool herausinterpolieren müssen. Um aktuell zu bleiben, müssen sie von Zeit zu Zeit mit inzwischen angefallenen Daten nachtrainiert werden. Spannend ist die Frage, was sie tun, wenn man ihen Fragen stellt, die sich auf Tatbestände oder Ereignisse beziehen, die nach ihrem letzten Training liegen. Sie haben die drei Möglichkeiten:

  • innerhalb ihres Datenvokabulars zu interpolieren, also so zu tun, als ob ihr Wissen ausreicht, um eine richtige Antwort zu geben
  • die Frage an eine klassische Suchmaschine weiterzureichen und das gefundene Ergebnis sprachlich aufzubereiten oder
  • mutig zu extrapolieren, auf die Gefahr hin, dass ihr Ergebnis halluziniert ist.

Bei allen Antworten, die das dem Chatbot zugrunde liegende Sprachmodell erzeugt, handelt es sich nur um Wahrscheinlichkeiten. Wenn man Glück hat, sind diese extrem hoch und stimmen mit den Tatsachen überein. Ansonsten muss man sich damit zufrieden geben, was der Systemhersteller als Antwort oberhalb seiner für nützliche Ergebnisse definierten Fehlergrenze festgelegt hat. mehr dazu

Man kann eine Menge von Spekulationen anstellen, wovon genau es abhängt, wann die Systeme anfangen zu phantasieren. Alle Anbieter arbeiten eifrig daran, diese Fehler zu minimieren. Aber sie veröffentlichen nicht mehr, wie sie das anstellen. So bleibt als beste Methode, es einfach auszuprobieren und ein eigens Gefühl dafür zu entwickeln, wie weit man den Systemen trauen kann.

Die folgenden Chatprotokolle sind bescheidene Beispiele, um herauszufinden, wie sich die Chatbots an den Grenzen ihres antrainierten Wissens verhalten.

Falsch geraten

Anfang Januar 2025, drei Monate, nachdem der britische Forscher Geoffrey Hinton den Nopbelpreis für Physik erhalten hat, haben wir ChatGPT gefragt:

Frage an ChatGPT 4.o: Wofür hat Geoffrey Hinton den Nobelpreis erhalten?

Geoffrey Hinton

Geoffrey Hinton hat bisher keinen Nobelpreis erhalten, da der Nobelpreis traditionell nicht in Bereichen wie Informatik oder künstliche Intelligenz verliehen wird. Hinton wurde jedoch 2018 mit dem **Turing Award**, oft als "Nobelpreis der Informatik" bezeichnet, ausgezeichnet.

Zusammen mit Yann LeCun und Yoshua Bengio erhielt er diesen Preis für ihre Pionierarbeit im Bereich der **Deep Learning**-Forschung. Hinton spielte eine Schlüsselrolle bei der Entwicklung von neuronalen Netzwerken, insbesondere durch seine Arbeiten zu **Backpropagation** und der Verwendung von **Deep Neural Networks**. Seine Arbeit hat das Fundament für viele moderne Anwendungen der KI gelegt, darunter Bild- und Spracherkennung, maschinelles Übersetzen und autonomes Fahren.

Wenn du mehr über seine Errungenschaften wissen möchtest, lass es mich wissen! 😊

ChatGPT 4.o am 6.1.2025

Die Auskunft (Stand 6.5.2025) ist falsch. Die Frage richtete sich nicht speziell auf einen Preis in Informatik, sondern allgemein nach dem Nobelpreis. Geoffrey Hinton erhielt zusammen mit dem US-Amerikaner John Hopfield Anfang Oktober 2024 den Nobelpreis für Physik. Ausgezeichnet wurden die beiden Forscher für „grundlegende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen betrafen“.

Offensichtlich lag Anfang 2025 das letzte Training der Bezahlversion ChatGPT 4.o von OpenAI vor Oktober 2024.

Frage delegiert

Die ausweichende Chatbot-Antwort verleitete uns natürlich zu Nachfragen:

Frage an ChatGPT 4.o: Wer hat den letzten Nobelpreis für Physik erhalten?

Der Nobelpreis für Physik 2024 wurde an **John Hopfield** und **Geoffrey Hinton** verliehen. Beide wurden für ihre bahnbrechenden Arbeiten im Bereich des maschinellen Lernens und der künstlichen neuronalen Netze ausgezeichnet. Die Königlich-Schwedische Akademie der Wissenschaften würdigte ihre Nutzung physikalischer Methoden, die den Grundstein für das heutige leistungsstarke maschinelle Lernen gelegt haben.

John Hopfield entwickelte das nach ihm benannte **Hopfield-Netzwerk**, eine Methode zum Speichern und Wiederherstellen von Mustern. Geoffrey Hinton baute darauf auf und schuf die **Boltzmann-Maschine**, die in der Lage ist, charakteristische Elemente in Daten zu erkennen. Ihre Arbeiten haben das maschinelle Lernen auf der Grundlage künstlicher neuronaler Netze revolutioniert und finden heute breite Anwendung in Wissenschaft, Technik und Alltag.

Der Preis ist mit insgesamt knapp 970.000 Euro dotiert und wird traditionell am 10. Dezember, dem Todestag von Alfred Nobel, verliehen.

ChatGPT 4.o am 6.1.2025

Auf einmal weiß ChatGPT Bescheid. Allerdings leuchtete kurz nach Absenden der Frage die Nachricht auf, dass die Frage an eine Suchmaschine weitergebenen wurde. Danach rückte das System mit einer richtigen Antwort heraus, seltsamerweise aber nur mit deutschen Fundstellen. Kaum auszudenken, dass deutsche Zeitungen die Top-Quellen für die Preisverleihung an einen US-Amerikaner und einen Briten sein sollen. Bemerkenswert auch, dass als Quellen nur Zeitungen des Axel-Springer-Verlags genannt sind. Ob dies damit zu tun hat, dass OpenAI einen Vertrag mit Axel Springer hat, wie es hieß, um „qualitativ hochwertigen Journalismus“ zu bieten, wissen wir nicht. Vielleicht geht es aber nur um die Vermeidung von Verletzungen des Nutzungsrechts.

Offensichtlich ist aber, dass bei der Ergebnispräsentation Algorithmen des Anbieters, sog. System-Prompts eine Rolle spielen. Diese Algorithmen sind natürlich Betriebsgeheimnis und werden nicht verraten.


Quelle: ChatGPT
Ein Achtungserfolg

Was tut ein Chatbot, wenn man von ihm etwas wissen will, wofür es keine belastbaren Quellen gibt, weder in seinem Trainigsmaterial noch überhaupt? Um das zu testen, haben wir den Chatbots von OpenAI und Google eine Frage gestellt, für deren Beantwortung es keine zeitgenössigen Quellen gab:

Frage an ChatGPT und Gemini: Was hätte vermutlich Albert Einstein von Ehen zwischen lesbischen Frauen oder homosexuellen Männern gehalten?
ChatGPT: Gemini:

Albert Einsteins persönliche Ansichten zu gleichgeschlechtlichen Ehen sind nicht direkt dokumentiert, da diese Themen zu seiner Zeit (späte 19. und frühe 20. Jahrhundert) gesellschaftlich weniger offen diskutiert wurden. Dennoch könnte man seine liberalen und humanistischen Überzeugungen heranziehen, um eine vorsichtige Einschätzung zu wagen.

1. **Einsteins allgemeine Toleranz und Humanismus**: Einstein setzte sich häufig für Minderheitenrechte, soziale Gerechtigkeit und Frieden ein. Er war ein entschiedener Gegner von Diskriminierung, sei es aufgrund von Rasse, Religion oder sozialer Herkunft. Es ist denkbar, dass er eine ähnliche Haltung gegenüber sexuellen Orientierungen eingenommen hätte, insbesondere wenn er erkannt hätte, dass Gleichberechtigung ein universelles Prinzip ist.

2. **Einsteins Ansichten zu Konventionen**: Einstein war bekannt dafür, Konventionen kritisch zu hinterfragen. In Bezug auf soziale Normen und gesellschaftlichen Druck war er oft nonkonformistisch. Es ist plausibel, dass er die gesellschaftlichen Vorurteile gegenüber Homosexualität als unbegründet oder ungerecht empfunden hätte.

3. **Zeitgenössischer Kontext**: In Einsteins aktiver Zeit waren gleichgeschlechtliche Beziehungen in den meisten Ländern tabuisiert oder kriminalisiert. Obwohl Einstein in diesen Fragen möglicherweise nicht so radikal wie moderne Befürworter der LGBTQ+-Rechte gewesen wäre, hätte er aufgrund seiner wissenschaftlichen Denkweise und seiner Ablehnung irrationaler Vorurteile zumindest Verständnis oder Akzeptanz gezeigt.

Zusammengefasst: Hätte sich Einstein explizit zu gleichgeschlechtlichen Ehen geäußert, wäre er vermutlich für ein respektvolles Miteinander eingetreten, unabhängig von sexueller Orientierung. Es gibt jedoch keine spezifischen Äußerungen, die seine Haltung dazu eindeutig belegen.

Albert Einstein setzte sich für soziale Gerechtigkeit und Bürgerrechte ein. Er unterzeichnete Petitionen zur Reform des deutschen Sexualstrafrechts, das Homosexualität unter Strafe stellte. Daher ist es wahrscheinlich, dass er die gleichgeschlechtliche Ehe befürwortet hätte.

Es gibt zwar keine direkten Äußerungen von Einstein zu diesem Thema, aber seine bekannten Ansichten über Gleichberechtigung und soziale Gerechtigkeit lassen darauf schließen, dass er die gleichgeschlechtliche Ehe unterstützt hätte.

Es ist wichtig zu beachten, dass dies eine Schlussfolgerung ist, die auf seinen allgemeinen Ansichten basiert. Was er tatsächlich über die gleichgeschlechtliche Ehe gedacht hätte, kann nur spekuliert werden.

Ein beachtenswertes Ergebnis. Klingt nachvollziehbar. Beide Antworten bleiben vorsichtig, stellen keine Behauptungen auf und betonen, dass es sich nur um Vermutungen mit einem gewissen Wahrscheinlichkeitsgrad handelt.

Out of Range

Es geht aber auch ganz anders. Um das Spektrum möglicher Chatbot-Antworten zu vervollständigen, haben wir hier ein drastischen Beispiel für das sprichwörtliche Halluzinieren ausgewählt. Gemini beschimpfte einen User und empfahl ihm, er solle lieber sterben. Viel Spaß dabei!

Karl Schmitz • Januar 2025