Warum werden KI-Agenten bei langen Arbeitsabläufen unzuverlässig?
Kurz gesagt
Weil sich Fehler bei mehreren aufeinander abhängigen Schritten multiplizieren: Selbst bei 95 Prozent Erfolgswahrscheinlichkeit je Schritt gelingen zehn Schritte in Folge nur noch zu rund 60 Prozent. Realistische Agenten-Benchmarks für lange Arbeitsabläufe zeigen entsprechend deutliche Lücken zu menschlicher Leistung. Ein guter Einzeltest beweist deshalb keine reproduzierbare Prozesszuverlässigkeit — dafür braucht es wiederholte Tests und getrennte Prüfung von Ergebnis, Regelbefolgung und Zwischenschritten.
Die Mathematik der Fehlerfortpflanzung
Bei einem vereinfachten Arbeitsablauf mit zehn voneinander unabhängigen Schritten und je 95 Prozent Erfolgswahrscheinlichkeit pro Schritt liegt die Wahrscheinlichkeit, dass alle zehn Schritte gelingen, bei 0,95 hoch zehn — also nur rund 59,9 Prozent. Bei 99 Prozent Erfolgswahrscheinlichkeit je Schritt sind es etwa 90,4 Prozent. Reale Fehler können korreliert auftreten und sich fortpflanzen, wodurch diese einfache Rechnung im Einzelfall zu optimistisch oder zu pessimistisch sein kann. Sie zeigt aber grundsätzlich, warum eine hohe Schrittgenauigkeit allein noch keine hohe End-zu-Ende-Zuverlässigkeit garantiert — ein Punkt, der bei der Bewertung von Agenten-Projekten häufig übersehen wird.
Was Agenten-Benchmarks wirklich zeigen
Ein Agent besteht aus mehr als dem Basismodell: Systemprompt, Werkzeugbeschreibungen, Umgebung, Gedächtnis, Planungslogik und Erfolgsprüfung wirken alle auf das Ergebnis. Ein Agentenbenchmark misst deshalb nie nur das Sprachmodell, sondern die gesamte Konfiguration.
Ein aktueller Benchmark für lange Computer- und Büroaufgaben umfasst 108 realistische, mehrstufige Arbeitsabläufe mit einer mittleren menschlichen Bearbeitungszeit von rund 1,6 Stunden. Das im zugrundeliegenden Forschungspapier beste getestete System erreichte bei bis zu 500 Handlungsschritten 20,6 Prozent vollständigen und 54,8 Prozent teilweisen Erfolg. Typische Fehlerursachen waren Zustandsverlust während des Ablaufs, übersehene neue Informationen, geratene statt geprüfte Zwischenschritte und fehlende Verifikation des eigenen Handelns.
Ein zweiter zentraler Maßstab für kundenähnliche Dialogaufgaben mit Werkzeugen und Richtlinien zeigte in der Ausgangsuntersuchung, dass die besten getesteten Agenten unter 50 Prozent Einzelerfolg lagen — und bei acht Wiederholungen derselben Aufgabe deutlich darunter. Das führt zu einer wichtigen Messgröße: dem sogenannten pass^k.
pass^k: Einmaliger Erfolg ist kein Beweis für Zuverlässigkeit
pass^k prüft, ob ein Agent dieselbe Aufgabe wiederholt zuverlässig löst, statt nur einmal. Ein hoher einmaliger Bestwert unter mehreren Versuchen kann eine tatsächlich geringe, reproduzierbare Zuverlässigkeit verdecken. Für die Unternehmenspraxis bedeutet das: Ein beeindruckender Demolauf beweist nicht, dass derselbe Agent denselben Prozess auch beim zehnten oder zwanzigsten Durchlauf korrekt und regelkonform ausführt.
Ein bekannter Software-Benchmark wurde 2026 herabgestuft
Auch etablierte Programmier-Benchmarks sind nicht dauerhaft verlässlich. Ein 2026 veröffentlichter Audit fand bei mindestens 59,4 Prozent von 138 geprüften schwierigen Testfällen eines vielgenutzten Software-Benchmarks materielle Test- oder Aufgabenprobleme sowie Hinweise darauf, dass die geprüften Modelle Teile der Lösungen bereits aus ihren Trainingsdaten kannten. Der betroffene Benchmark gilt seither nicht mehr als geeigneter Maßstab für die aktuelle Spitzenleistung von Agenten. Das zeigt: Auch scheinbar objektive Ranglisten können durch veraltete Testdaten, fehlerhafte Aufgaben oder Trainingskontamination ihre Aussagekraft verlieren.
Ergebnis ist nicht gleich sicherer Weg dorthin
Ein Agent kann ein gutes Endergebnis erzielen und dabei trotzdem riskante oder unnötige Zwischenhandlungen ausführen — etwa mehr Systemzugriffe als nötig oder Schritte, die gegen eine interne Regel verstoßen. Umgekehrt kann ein vorsichtiger Agent eine Aufgabe korrekt abbrechen und dabei in einer reinen Ergebnisbewertung wie ein Misserfolg aussehen. Produktionsreife erfordert deshalb mindestens drei getrennte Bewertungen: ob das Ziel erreicht wurde, ob dabei alle Regeln eingehalten wurden, und ob der eingeschlagene Weg dorthin sicher war.
Was Unternehmen daraus ableiten sollten
- Autonomiegrenzen definieren: Lesen, Entwerfen, Vorschlagen, Schreiben, Senden und unwiderrufliche Transaktionen sollten getrennt freigegeben werden.
- Minimale Rechte vergeben: Ein Agent sollte nur auf die Daten und Aktionen zugreifen können, die für den jeweiligen Schritt tatsächlich nötig sind.
- Wiederholte Tests statt Einzeldemo: Dieselbe Aufgabe mehrfach durchlaufen lassen, bevor ein Prozess produktiv geschaltet wird.
- Kosten- und Schrittlimits setzen: Endlosschleifen und unkontrolliert anwachsende Werkzeugaufrufe technisch verhindern.
- Trajektorien prüfen, nicht nur das Ergebnis: Aktionen und Regelverstöße während des Ablaufs sichtbar machen, nicht nur den Abschluss bewerten.