Hochrisiko-KI-Pflichten: Was Provider und Deployer konkret leisten müssen
Kurz gesagt
Hochrisiko-KI unterliegt einem laufenden Risikomanagement, Dokumentations- und Logging-Pflichten sowie der Forderung nach wirksamer menschlicher Aufsicht. Provider tragen Konformität, Dokumentation und Registrierung; Deployer müssen bestimmungsgemäß nutzen, Human Oversight organisieren und Monitoring betreiben – „Human in the Loop" muss praktisch wirksam sein, kein Etikett.
Risikomanagement ist ein Prozess, kein Dokument
Art. 9 und 10 des AI Act verlangen ein über den Lebenszyklus laufendes Risikomanagement und bei datengetriebenen Systemen Anforderungen an Daten- und Data-Governance. Diese Pflichten sind ausdrücklich nicht auf ein einmaliges Dokument vor der Markteinführung beschränkt: Risiken müssen kontinuierlich identifiziert, bewertet, gemindert und getestet werden – auch nach dem produktiven Einsatzstart, wenn sich Nutzungsmuster oder Risikoprofile ändern.
Dokumentation und Logging als Beweiskette
Art. 11 bis 13 verlangen technische Dokumentation, automatische Protokollierungsfähigkeiten und Informationen, die Deployer in die Lage versetzen, das System korrekt einzusetzen. Der AI Act baut damit eine durchgängige Beweiskette auf: von Design über den beabsichtigten Zweck und die Leistungsgrenzen bis zur tatsächlichen Nutzung im Betrieb. Diese Kette ist im Streitfall entscheidend, um nachzuweisen, dass ein System vorschriftsmäßig eingesetzt wurde.
Human Oversight muss echt wirken
Art. 14 verlangt eine Systemgestaltung, die wirksame menschliche Aufsicht ermöglicht. Art. 26 verpflichtet Deployer, Personen mit der nötigen Kompetenz, Schulung, Autorität und Unterstützung für diese Aufsicht einzusetzen. „Human in the Loop" ist damit kein Etikett auf einem Prozessdiagramm, sondern muss praktisch wirksam sein – die aufsichtführende Person muss die Entscheidung tatsächlich verstehen, hinterfragen und bei Bedarf korrigieren können, nicht nur formal gegenzeichnen.
Genauigkeit, Robustheit und Cybersicherheit
Art. 15 verlangt angemessene Genauigkeit, Robustheit und Cybersecurity über den gesamten Lebenszyklus des Systems. Konkrete technische Schwellenwerte sind dabei nicht für alle Systeme pauschal identisch – harmonisierte Standards sollen den Nachweis der Konformität vereinheitlichen, befinden sich aber teils noch in der Entwicklung.
Wer trägt was: Provider- und Deployer-Pflichten im Vergleich
Provider tragen unter anderem: Sicherstellung der Konformität, Aufbau eines Qualitätsmanagementsystems, technische Dokumentation, Protokollierung, Konformitätsbewertung, Registrierung, Korrekturmaßnahmen bei Mängeln und Kooperation mit Behörden.
Deployer müssen unter anderem: das System bestimmungsgemäß nutzen, Human Oversight tatsächlich organisieren, Inputdaten – soweit unter eigener Kontrolle – relevant und ausreichend repräsentativ halten, laufendes Monitoring betreiben, geeignete Personen mit Kompetenz und Autorität benennen, bei Vorfällen und Risiken mit Behörden kooperieren und eskalieren, sowie – nur für gesetzlich bestimmte Deployer – eine Grundrechte-Folgenabschätzung (FRIA) durchführen.
Was das für Unternehmen als Deployer bedeutet
Die meisten Unternehmen, die Hochrisiko-KI einsetzen, tun dies als Deployer eines fremd entwickelten Systems – nicht als Provider. Das entbindet nicht von eigenen Pflichten: Wer ein Hochrisiko-System einsetzt, muss selbst dafür sorgen, dass es bestimmungsgemäß genutzt wird, dass tatsächlich befähigte Personen die menschliche Aufsicht wahrnehmen, und dass eigene Inputdaten – etwa Bewerberdaten, die in ein HR-Tool eingespeist werden – ausreichend repräsentativ und aktuell sind.