Haftung bei autonomen KI-Agenten: Wer zahlt, wenn der Agent selbst handelt?

Kurz gesagt

Ein KI-Agent hat keine eigene Rechtspersönlichkeit und haftet nie selbst. Verantwortlich ist das Unternehmen, das ihn betreibt, integriert oder wesentlich verändert hat — meist über Vertrags- und Organisationshaftung, da Fehlentscheidungen von Agenten typischerweise reine Vermögensschäden verursachen und nicht in den Kernbereich der Produkthaftung fallen.

Warum Agenten ein eigenes Haftungsproblem sind

Ein klassischer Chatbot beantwortet einzelne Anfragen. Ein Agent dagegen plant selbstständig mehrere Schritte, nutzt Werkzeuge und trifft dabei laufend Zwischenentscheidungen, ohne dass ein Mensch jeden Schritt freigibt. Genau diese Autonomie erhöht die Bedeutung von Berechtigungen, Kontrolle und vorhersehbarer Nutzung — sie verschiebt Verantwortung aber nicht automatisch auf das System selbst. Die rechtlich entscheidende Frage bleibt: Wer hat Zweck, Architektur, Integration, Berechtigungen und den konkreten Betrieb tatsächlich beherrscht?

Das Fallbeispiel: Fehlzahlung durch einen CRM-Agenten

Löst ein KI-Agent im CRM ohne Freigabe eine falsche Zahlung an den falschen Empfänger aus, handelt es sich regelmäßig um Vertrags- und Organisationshaftung, gegebenenfalls ergänzt um deliktische oder bankrechtliche Fragen. Die Produkthaftung deckt den reinen Geldverlust dagegen nicht ab, weil reine Vermögensschäden nicht zu ihrem Schadenskatalog gehören. Zentrale Beweisfragen sind dann: Welche Berechtigungen und Transaktionslimits hatte der Agent? Gab es einen vorgesehenen Human-in-the-Loop-Schritt, und wurde er tatsächlich durchlaufen? Was zeigen Protokolle und Rollen im System?

Der Human-in-the-Loop-Mythos

Ein weit verbreiteter Irrtum lautet, ein Mensch im Freigabeprozess schließe die Herstellerhaftung automatisch aus oder verschiebe die Verantwortung vollständig auf diese Person. Beides trifft nicht zu. Ein Human-in-the-Loop schafft weder automatisch Haftungsfreiheit für das Unternehmen noch automatisch eine alleinige menschliche Haftung. Entscheidend sind die realen Umstände: Verstand die Person die Systemgrenzen? Erhielt sie die relevanten Informationen? Hatte sie ausreichend Zeit und Kompetenz für eine echte Prüfung? Konnte sie die Ausgabe tatsächlich stoppen oder ändern? Eine Unterschrift unter eine automatisch erzeugte Entscheidung, die faktisch keine Prüfung dokumentiert, kann die Haftung sogar verschärfen, statt sie zu mindern — weil sie eine nicht stattgefundene Sorgfalt vortäuscht.

Wann ein Agent zum "Hersteller" wird

Wer ein System durch Fine-Tuning, angepasste Prompts, zusätzliche Tools oder eine erweiterte Wissensbasis verändert, kann je nach Tiefe der Änderung selbst zum Komponentenhersteller oder wesentlich Änderndem werden. Fine-Tuning oder das Hinzufügen von Retrieval-Komponenten ist nicht automatisch eine wesentliche Änderung — erweitert die Anpassung aber Entscheidungszweck, Nutzerkreis, Autonomiegrad oder Gefährdungspotenzial des Agenten spürbar, steigt die Wahrscheinlichkeit, selbst als Hersteller behandelt zu werden. Ein Unternehmen, das einen fremden Agenten-Baukasten stark anpasst und unter eigener Marke einsetzt, sollte diese Frage nicht offenlassen.

Warum Governance bei Agenten wichtiger ist als bei Chatbots

Weil ein Agent mehrstufig plant und Werkzeuge selbstständig aufruft, potenziert sich das Fehlerrisiko mit jeder zusätzlichen Berechtigung. Sinnvolle Absicherung besteht deshalb aus mehreren Bausteinen gleichzeitig:

minimale Berechtigungen statt Vollzugriff — Lesezugriff vor Schreibzugriff auf Produktivsysteme
klar definierte Transaktions- oder Handlungsgrenzen, die technisch erzwungen werden, nicht nur dokumentiert sind
ein echter, nicht nur formaler Freigabepunkt vor kritischen Aktionen
vollständiges Logging jedes Schritts: Ziel, genutzte Werkzeuge, Ergebnis, beteiligte Personen
ein dokumentierter Rollback- und Eskalationsprozess für den Fehlerfall

Was im Vertrag mit dem Agenten-Anbieter geregelt sein sollte

Wird ein Agenten-Framework oder eine gehostete Agenten-Plattform eines Drittanbieters eingesetzt, gilt dasselbe Prinzip wie bei anderen KI-Diensten: Der Einsatz eines externen Anbieters beseitigt nicht die eigene Vertragspflicht gegenüber den eigenen Kunden. Berechtigungsmodell, Protokollierung, Update- und Änderungsprozess sowie Haftungsgrenzen sollten explizit auf die agentenspezifischen Risiken zugeschnitten sein — ein allgemeiner SaaS-Standardvertrag deckt die Besonderheiten selbstständig handelnder Systeme in der Regel nicht ausreichend ab.

Häufige Fragen

Kann ein Unternehmen sich hinter der Autonomie des Agenten verstecken, wenn etwas schiefgeht?

Nein. Weder AI Act noch Produkthaftungsrecht verleihen Systemen eine eigene Rechtspersönlichkeit; verantwortlich bleibt immer eine Person oder ein Unternehmen.

Schützt ein Freigabeschritt durch einen Mitarbeitenden automatisch vor Haftung?

Nein. Nur wenn die Person die Systemgrenzen versteht, ausreichend Zeit und Kompetenz hat und die Aktion tatsächlich verhindern kann, ist die Kontrolle wirksam.

Fällt ein finanzieller Schaden durch einen Fehlagenten unter die neue Produkthaftung?

In der Regel nicht, wenn es sich um einen reinen Vermögensschaden wie eine Fehlzahlung handelt. Dann sind Vertrags- und Organisationshaftung vorrangig zu prüfen.

Macht starkes Anpassen eines fremden Agenten-Frameworks mein Unternehmen selbst zum Hersteller?

Möglich, wenn die Änderung Zweck, Nutzerkreis, Autonomiegrad oder Gefährdung spürbar erweitert. Eine pauschale Antwort gibt es nicht, die konkrete Änderung entscheidet.