KI versteht alles? Was Halluzinationen bedeuten und wie man damit umgeht
Kurz gesagt
KI-Modelle generieren wahrscheinlichen Text, keinen verifizierten Faktenabgleich. Halluzinationen entstehen, weil das Modell keine Quelle abruft, sondern statistisch plausible Fortsetzungen erzeugt — auch bei den leistungsstärksten Systemen. Überprüfung kritischer Outputs ist deshalb Pflicht, keine Kür.
Der Mythos: KI als Wissensmaschine
Der verbreitetste Irrglaube über Sprachmodelle: Sie riefen Fakten aus einer riesigen Datenbank ab — wie eine erweiterte Suchmaschine. In der Praxis ist es anders. Sprachmodelle wurden auf enormen Textmengen trainiert und lernen dabei, welche Wörter und Aussagen statistisch wahrscheinlich aufeinander folgen. Fragt man nach einer Zahl oder einem Namen, antwortet das Modell nicht mit dem, was es „weiß", sondern mit dem, was im Training in einem solchen Kontext am häufigsten auftauchte — formuliert exakt so, als käme es aus einem Lexikon. Halluzinationen sind dabei nicht auf schwache Modelle beschränkt: Selbst leistungsstarke Systeme halluzinieren, gerade wenn wenig Trainingsdaten vorlagen, das Modell aber dennoch kompetent klingen möchte. Es weiß nicht, dass es etwas nicht weiß — es generiert einfach weiter.
Was Halluzinationen technisch sind
Eine Halluzination ist kein Programmierfehler, sondern das erwartbare Ergebnis eines Systems, das auf Wahrscheinlichkeit optimiert ist, nicht auf Richtigkeit. Besonders häufig treten sie auf bei: spezifischen Zahlen und Statistiken, die gerundet, interpoliert oder erfunden werden; Personen und Biografien, bei denen Namen und Zitate kombiniert werden; Rechtsurteilen und Gesetzesstellen, bei denen Aktenzeichen plausibel klingend zusammengesetzt werden; Unternehmensdaten aus schwach repräsentierten Quellen; sowie Spezialthemen mit geringer Trainingsdatenbasis. Halluzinationen wirken überzeugend, weil das Modell gelernt hat, dass präzise, selbstsichere Antworten dem menschlichen Erwartungsmuster entsprechen — es formuliert keine Unsicherheit, wenn es nicht explizit dazu aufgefordert wird.
Szenarien mit hohem Halluzinationsrisiko
- Rechtsfragen: Gerichtsurteile, Aktenzeichen und Paragraphen werden plausibel, aber falsch generiert
- Medizin: Dosierungen und Studienreferenzen mit lebensrelevantem Fehlerpotenzial
- Steuer- und Finanzrecht: Fristen und Prozentsätze, ohne Kenntnis aktueller Gesetzesänderungen
- Historische Fakten bei wenig dokumentierten Ereignissen
- Spezifische Unternehmensdaten außerhalb des Trainingsdatensatzes
- Lokale Ereignisse und regionale Rechtsprechung mit kaum vorhandenen Trainingsdaten
- Aktuelle Entwicklungen nach dem Trainings-Stichtag des Modells
Wie man professionell mit Halluzinationen umgeht
1. Kritische Outputs immer verifizieren: Zahlen, Namen, Daten und Rechtsquellen niemals ungeprüft übernehmen — KI liefert einen ersten Entwurf, keine letzte Instanz. 2. Quellen-Prompts einsetzen: Prompts so formulieren, dass das Modell Quellen oder Begründungen nennen muss — das macht Halluzinationen sichtbarer. 3. RAG-Systeme für faktenbasierte Antworten nutzen: Retrieval Augmented Generation verknüpft das Modell mit verifizierten Dokumenten, sodass es aus den eigenen Daten antwortet statt aus dem allgemeinen Training. 4. KI nie als alleinige Informationsquelle: Für Entscheidungen mit wirtschaftlicher, rechtlicher oder gesundheitlicher Relevanz ist die Gegenprüfung durch Fachpersonen Pflicht. 5. Mitarbeiter gezielt schulen: Das größte Risiko liegt nicht in der KI, sondern im unkritischen Umgang mit ihren Ausgaben — Schulungen sollten zeigen, bei welchen Aufgabentypen das Risiko besonders hoch ist.
Bei kritischen Themen hilft die Nachfrage „Woher weißt du das? Gib mir eine überprüfbare Quelle" — ein gut trainiertes Modell nennt dann entweder eine Referenz oder räumt ein, keine zu haben. Beides ist eine wertvolle Information.
Wie real das Risiko im Rechtsbereich ist, zeigen mehrere dokumentierte Gerichtsverfahren: In den USA, Kanada, Großbritannien und Südafrika wurden zwischen 2023 und 2026 wiederholt Schriftsätze mit von ChatGPT oder Google Bard erfundenen Gerichtsentscheidungen eingereicht — mit Kostenfolgen, gerichtlichen Rügen und in einem Fall einer zeitweisen Suspendierung des verantwortlichen Anwalts. Auch außerhalb der Rechtsbranche passiert das: Ein für die australische Regierung erstellter Beratungsbericht enthielt 2025 nicht existente Referenzen und ein erfundenes Gerichtszitat; das Beratungsunternehmen sagte daraufhin eine teilweise Rückerstattung zu.
Warum es keine allgemeingültige Halluzinationsquote gibt
Aussagen wie „Modell X halluziniert zu sieben Prozent" sind fachlich nicht seriös. Der Begriff Halluzination umfasst je nach Quelle mindestens faktisch falsche Aussagen, vom bereitgestellten Kontext nicht gestützte Aussagen, Widersprüche zur Quelle, erfundene Quellenangaben und falsche Rechenoperationen — ohne genaue Definition des Fehlertyps sind Prozentwerte nicht vergleichbar. Bekannte Testverfahren wie TruthfulQA, HaluEval, RAGTruth und FActScore prüfen zudem unterschiedliche Dinge: TruthfulQA testet Fragen mit verbreiteten Fehlannahmen, RAGTruth annotiert ungestützte Aussagen speziell in Antworten mit Dokumentenbezug, FActScore zerlegt lange Texte in einzelne Behauptungen und prüft jede für sich. Auch eine angezeigte Quellenangabe beweist weder, dass die Quelle die Aussage tatsächlich trägt, noch dass die Quelle selbst richtig oder aktuell ist. Eine zitierfähige Rate braucht deshalb mindestens Modellversion, Stichtag, Datensatz, Fehlertyp und Antwortpolitik — sonst ist sie nicht belastbar.