Produktivität durch KI-Coding-Agenten: Was die Studien wirklich zeigen
Kurz gesagt
Die Studienlage zu KI-Coding-Agenten ist uneinheitlicher, als es Marketing-Aussagen vermuten lassen. Erfahrene Entwickler waren in einer kontrollierten Studie bei vertrauten Aufgaben sogar langsamer, während weniger enge, standardisierte Aufgaben in anderen Studien deutliche Zeitgewinne zeigten. Der Effekt hängt stark von Aufgabe, Erfahrung und Werkzeugreife ab – ein pauschaler Produktivitätsfaktor lässt sich daraus nicht ableiten.
Der Gegenbefund: Erfahrene Entwickler wurden langsamer
Eine vielbeachtete randomisierte Studie von METR ließ 16 sehr erfahrene Open-Source-Maintainer insgesamt 246 reale Fehler- und Änderungsanfragen in ihren eigenen, ihnen bestens vertrauten großen Code-Basen bearbeiten. Mit erlaubter KI-Unterstützung waren sie im Mittel rund 19 Prozent langsamer als ohne – obwohl dieselben Entwickler sowohl vorher als auch nachher einen positiven Effekt einschätzten. Die Studie ist damit ein wichtiges Gegengewicht zur reinen Euphorie, hat aber eine klare Einschränkung: Es handelte sich um eine kleine, hochspezialisierte Stichprobe mit frühen 2025er Werkzeugen in ungewöhnlich komplexen, sehr vertrauten Projekten – nicht ohne Weiteres auf jede Entwicklungssituation übertragbar.
Warum die Nachfolgemessung nicht belastbar ist
Eine METR-Folgemessung 2026 sollte klären, ob sich das Bild seither verändert hat. Sie ist jedoch durch Selbstselektion verzerrt: Entwickler, die selbst eine positive Wirkung erwarteten, wählten seltener Aufgaben ohne KI-Unterstützung aus. Ein belastbarer Durchschnittseffekt lässt sich aus diesen Daten deshalb nicht ableiten – die Zahlen sind als Stimmungsbild zu lesen, nicht als Wirksamkeitsnachweis.
Selbstauskünfte und anbietereigene Auswertungen richtig einordnen
Eine METR-Befragung unter 349 technischen Beschäftigten ergab einen medianen wahrgenommenen Wertzuwachs vom 1,4- bis 2-Fachen durch KI-Unterstützung – von METR selbst ausdrücklich als unsicher und möglicherweise überzogen eingestuft, weil es sich um Selbstauskunft ohne Kausalnachweis handelt.
Auch die eigene Analyse von Anthropic über rund 400.000 Claude-Code-Sitzungen gehört in diese Kategorie: Sitzungen von Einsteigern erreichten demnach einen verifizierten Erfolg von etwa 15 Prozent (rund 77 Prozent mindestens Teilerfolg), ab fortgeschrittenem Nutzungsniveau stiegen die Werte auf 28 bis 33 Prozent verifizierten Erfolg bei rund 91 bis 92 Prozent Teilerfolg. Das ist eine anbietereigene, nicht-randomisierte Auswertung mit eigenen Klassifikatoren – aufschlussreich als Trendhinweis, aber kein unabhängiger Wirksamkeitsnachweis.
Wo deutliche Effekte gemessen wurden
Nicht jede Studie zeichnet ein zurückhaltendes Bild. In einem kontrollierten Experiment mit einer eng umrissenen HTTP-Server-Aufgabe waren Teilnehmer mit KI-Unterstützung im Mittel rund 56 Prozent schneller – allerdings bei einer sehr engen, standardisierten Aufgabe, die sich nicht ohne Weiteres verallgemeinern lässt. Drei größere Unternehmens-Feldstudien mit insgesamt 4.867 Entwicklern kamen kombiniert auf rund 26 Prozent mehr erledigte Aufgaben, wobei weniger erfahrene Entwickler tendenziell stärker profitierten als sehr erfahrene. Eine Untersuchung bei zehntausenden Microsoft-Entwicklern im Juli 2026 zu Claude Code und GitHub Copilot CLI fand rund 24 Prozent mehr zusammengeführte Pull Requests – die Autoren betonen selbst, dass diese Kennzahl kein direkter Maßstab für wirtschaftlichen Nutzen ist.
Die Einordnung von DORA: KI als Organisationsverstärker
Der DORA-Bericht 2025 beschreibt KI-Wirkung treffend als Organisationsverstärker: Das Ergebnis hängt stark davon ab, wie reif die technische Plattform und wie belastbar die vorhandenen Review-Prozesse bereits sind. In einem gut organisierten Team mit klaren Prüfabläufen verstärkt KI die vorhandene Stärke, in einem unstrukturierten Umfeld verstärkt sie eher die vorhandenen Schwächen. DORA veröffentlichte zu diesem Bericht selbst eine korrigierte Fassung samt Errata – ein Hinweis darauf, wie schwierig belastbare Messungen in diesem Feld sind.
Was das für die eigene Entscheidung bedeutet
Aus all dem folgt keine einfache Prozentzahl, sondern eine Regel: Der Effekt eines KI-Coding-Agenten hängt maßgeblich davon ab, wie eng und wie standardisiert die Aufgabe ist, wie erfahren die beteiligten Personen sind und wie ausgereift die begleitenden Prozesse – Tests, Reviews, Dokumentation – bereits sind. Wer Produktivitätszahlen aus einer Studie unreflektiert auf das eigene Projekt überträgt, überschätzt oder unterschätzt den tatsächlichen Effekt fast zwangsläufig.