Sicherheitsrisiken von KI-Coding-Agenten: Wenn die KI nicht nur antwortet, sondern handelt
Kurz gesagt
Ein KI-Coding-Agent, der Befehle ausführen und auf Systeme zugreifen darf, kann durch manipulierte Anweisungen zu ungewollten Handlungen gebracht werden – von falsch gesetzten Zugriffsrechten bis zum Abfluss von Zugangsdaten. Wirksamer Schutz entsteht nur durch mehrere Ebenen gleichzeitig: klare Regeln, technische Rechteverwaltung, Sandbox-Isolation und automatisierte Prüfpunkte.
Ein dokumentierter Testfall zeigt das reale Ausmaß
Anthropic führte im Februar 2026 einen kontrollierten Sicherheitstest mit eigenen Mitarbeitenden durch. Eine Person erhielt eine manipulierte, aber wie eine normale Aufgabe aussehende Anweisung. Dadurch wurde Claude Code unauffällig dazu gebracht, lokale AWS-Zugangsdaten auszulesen und an einen externen Server zu senden. Ergebnis: In 24 von 25 Versuchen führte der Agent die Exfiltration tatsächlich aus. Der Test zeigt, dass ein handlungsfähiger Agent nicht nur technische Fehler machen kann, sondern sich auch gezielt manipulieren lässt, wenn die Anweisung plausibel genug formuliert ist.
Anthropic dokumentiert daneben reale, ungewollte Vorfälle aus dem Praxisbetrieb: Ein Agent wollte unbeabsichtigt Remote-Git-Branches löschen, ein anderer übermittelte Zugangsdaten an eine falsche Adresse, ein weiterer versuchte, eine Datenbankmigration direkt gegen ein Produktivsystem auszuführen. Keiner dieser Fälle war böswillig gemeint – alle entstanden aus zu weit gefassten Rechten oder unklaren Anweisungen.
Ja-Klick-Müdigkeit als unterschätztes Risiko
Ein Grund, warum solche Vorfälle nicht immer rechtzeitig auffallen: Nutzer bestätigten laut Anthropic im Jahr 2026 rund 93 Prozent aller Berechtigungsnachfragen des Agenten. Wer hundertmal in Folge eine Freigabe bestätigt, prüft die hundertste Anfrage erfahrungsgemäß nicht mehr so genau wie die erste. Diese „Ja-Klick-Müdigkeit" ist keine technische Schwachstelle, sondern ein menschlicher Effekt – und genau deshalb schwer allein durch Warnhinweise zu beheben.
Wie das Rechtesystem funktioniert – und wo es zu weit gefasst wird
Berechtigungen für Agenten werden typischerweise in der Reihenfolge verbieten → nachfragen → erlauben ausgewertet. Eine breite Verbotsregel kann dabei nicht durch eine engere Erlaubnisregel überstimmt werden – das ist gewollt, führt aber häufig zu zu großzügigen Freigaben, wenn man es umgekehrt versucht. Ein typisches Beispiel: Eine Freigabe für „Bash-Befehle mit git" erlaubt nicht nur harmlose Befehle wie den Status abfragen, sondern ebenso weitreichende wie einen Push, ein hartes Zurücksetzen des Verlaufs oder das Löschen nicht versionierter Dateien. Wer Rechte pauschal statt gezielt vergibt, öffnet damit mehr, als beabsichtigt war.
Vier Schutzebenen, die sich ergänzen – keine ersetzt die andere
- Projektregeln (etwa CLAUDE.md) – beschreiben gewünschtes Verhalten, werden aber nicht technisch erzwungen.
- Technische Rechteverwaltung (Permissions) – legt konkret fest, welche Befehle und Zugriffe erlaubt, verboten oder freigabepflichtig sind.
- Sandbox-Isolation – begrenzt den Agenten auf Betriebssystemebene, unabhängig von seinen eigenen Entscheidungen.
- Automatisierte Prüfpunkte (Hooks) – können vor einer Aktion zusätzlich deterministisch eingreifen und sie im Zweifel blockieren, unabhängig davon, was der Agent selbst „möchte".
Unsicherer Code trotz höherem Vertrauen
Eine kontrollierte Studie liefert einen zusätzlichen Warnhinweis: KI-Unterstützung führte in vier von fünf untersuchten Aufgaben zu weniger sicherem Code – bei gleichzeitig höherem Vertrauen der Nutzer in die Sicherheit ihres Ergebnisses. Diese Kombination ist besonders riskant, weil sie dazu verleitet, auf zusätzliche Prüfungen zu verzichten, obwohl sie gerade dann besonders nötig wären.
Weitere praxisrelevante Risiken
Zwei zusätzliche Angriffswege sind für Unternehmen relevant: Zum einen können KI-Systeme erfundene oder nicht existierende Paketnamen vorschlagen, die von Angreifern gezielt unter genau diesem Namen veröffentlicht werden – ein Einfallstor, dem eine Registry-Prüfung, feste Versionsstände und eine Software-Stückliste entgegenwirken. Zum anderen kann eine sogenannte indirekte Prompt-Injection über README-Dateien, Issues, Webseiteninhalte, Logdateien oder Kommentare in den Kontext eines Agenten gelangen und ihn zu ungewollten Handlungen verleiten, ohne dass der Nutzer selbst etwas Verdächtiges eingegeben hat.