Wie prüft man KI-Output vor der Freigabe richtig?
Kurz gesagt
Die Prüftiefe sollte sich nach dem Risiko der Aufgabe richten, nicht nach einer einheitlichen Regel für alle Fälle: Interne Formulierungen brauchen nur eine Plausibilitätsprüfung, Angebote und Analysen eine Quellenstichprobe, hochriskante Ergebnisse wie Recht, Personal oder Finanzen einen qualifizierten unabhängigen Fachreview mit dokumentierter Entscheidung. Ein bewährtes Grundmuster ist die Vier-Pass-Methode: eigene Position bilden, generieren lassen, gezielt kritisieren, extern verifizieren.
Mindestprüfung nach Risikoklasse
Nicht jede KI-Ausgabe braucht dieselbe Kontrolltiefe — das wäre bei Routineaufgaben verschwendeter Aufwand und bei Hochrisikoaufgaben gefährlich knapp. Eine risikobasierte Einteilung sieht vier Stufen vor:
- Niedriges Risiko, etwa interne Formulierung oder Brainstorming: Plausibilität, Ton und offensichtliche Fakten prüfen, Freigabe durch den Bearbeiter selbst
- Mittleres Risiko, etwa Angebot, Marktanalyse oder Prozessdokument: Quellenstichprobe, Zahlenprüfung, Randfälle und Version prüfen, Freigabe durch den fachlichen Owner
- Hohes Risiko, etwa Recht, Personal, Finanzen, Gesundheit oder Veröffentlichung: jede tragende Quelle prüfen, unabhängiger Fachreview, dokumentierte Entscheidung, Freigabe durch eine qualifizierte verantwortliche Person
- Autonome Aktion, etwa Versand, Änderung, Zahlung oder Löschung: harte Regeln, Simulation, Genehmigungsschritt, Auditlog und Rollback-Möglichkeit, Freigabe nur mit expliziter Aktionserlaubnis
Wer diese Stufen nicht unterscheidet, prüft entweder zu viel Routinearbeit unnötig streng oder lässt folgenreiche Entscheidungen mit zu wenig Kontrolle durch.
Quellenprüfung in sieben Schritten
Bei tragenden Fakten, Zahlen oder Zitaten reicht eine KI-Zusammenfassung oder ein Suchsnippet nicht aus. Eine belastbare Quellenprüfung läuft in sieben Schritten ab: 1. Die Originalquelle öffnen — ein Suchsnippet oder eine KI-Zusammenfassung ersetzt das nicht 2. Autor oder Herausgeber, Titel, Veröffentlichungsdatum und Rechts- oder Länderkontext prüfen 3. Die konkrete Passage, Tabelle, Seite oder Randnummer finden 4. Prüfen, ob die Quelle genau die behauptete Aussage trägt oder nur ähnlich klingt 5. Methodik, Stichprobe und Einschränkungen der Quelle erfassen 6. Nach einer neueren Fassung, Korrektur, einem Rückzug oder Gegenbefund suchen 7. Die Aussage der Quelle und die eigene Schlussfolgerung im Dokument klar trennen
Dieser Aufwand lohnt sich nicht für jede interne Notiz — aber genau deshalb ist die vorherige Risikoeinstufung wichtig: Sie entscheidet, wo diese sieben Schritte Pflicht sind und wo eine einfache Plausibilitätsprüfung reicht.
Die Vier-Pass-Methode
Für anspruchsvollere Aufgaben hat sich ein vierstufiges Vorgehen bewährt, das Generierung, Kritik und Verifikation bewusst trennt, statt sie in einem einzigen ungeprüften Durchlauf zu vermischen: 1. Definieren und eigene Position bilden: Ziel, Kriterien, bekannte Fakten und eine erste Hypothese ohne KI festhalten, sofern Anker- oder Lernrisiko besteht 2. Generieren: Die KI erzeugt Entwurf, Varianten, Extraktion oder Analyse innerhalb klar definierter Quellen und Grenzen 3. Adversarial kritisieren: Ein separater Durchgang sucht gezielt nach Auslassungen, Gegenbeispielen, falschen Annahmen und möglichen Fehlerursachen 4. Extern verifizieren: Tragende Aussagen werden gegen Primärquelle, Test, Formel, Fachperson oder reale Daten geprüft
Alle vier Schritte können vom selben Modell unterstützt werden, dürfen aber nicht mit einer bloßen Selbstbestätigung verwechselt werden. Bei hohem Risiko muss mindestens die letzte Prüfinstanz unabhängig vom ursprünglichen Erzeugungsprozess sein.
Was ein guter Adversarial Review konkret prüft
„Sei kritisch" als Anweisung reicht nicht aus. Ein wirksamer Kritikdurchgang prüft konkrete Angriffsflächen: falsche Prämissen, fehlende Daten, alternative Erklärungen, veraltete Quellen, unzulässige Verallgemeinerungen, Interessenkonflikte, Ausnahmefälle, Datenschutz- oder Sicherheitsfolgen sowie ein möglicherweise falsches Entscheidungskriterium. Die dabei gefundenen Gegenargumente werden anschließend nicht automatisch übernommen, sondern ebenfalls belegt — sonst wird aus der Kritik nur eine zweite unbelegte Behauptung.
Sieben Stop-Signale
Unabhängig von der Risikoklasse gibt es Situationen, in denen ein KI-gestützter Prozess gestoppt werden sollte, statt die Prüfung einfach zu verschärfen: Niemand im Prozess kann die Ausgabe fachlich prüfen; die Entscheidung ist irreversibel oder existenziell und die Wahrheit nicht zeitnah feststellbar; tragende Daten oder Quellen sind unbekannt, unzugänglich oder widersprüchlich; das System darf extern handeln, aber es fehlen harte Rechte-, Budget- oder Freigabegrenzen; der Pilot misst nur Begeisterung oder erzeugte Textmenge statt tatsächlicher Qualität; eine Qualifizierungsaufgabe wird vollständig an die KI delegiert; Fehler werden nicht dokumentiert oder in die weitere Prüfung zurückgeführt.