Automatisierte Entscheidungen durch KI: Wann Art. 22 DSGVO greift
Kurz gesagt
Art. 22 DSGVO greift bei Entscheidungen ohne relevante menschliche Beteiligung mit rechtlicher oder ähnlich erheblicher Wirkung. Ein Mensch im Prozess verhindert Art. 22 nur bei echter, eigenständiger Prüfung – formale Abzeichnung oder routinemäßige Übernahme der KI-Empfehlung reicht nach der Rechtsprechung nicht aus.
Der Fehlschluss „ein Mensch schaut ja drüber"
Viele Unternehmen glauben, sie seien auf der sicheren Seite, sobald irgendein Mitarbeiter die KI-Empfehlung formal absegnet. Nach Rechtsprechung und Behördenposition genügt das nicht: Formale Abzeichnung oder routinemäßige Übernahme der KI-Ausgabe verhindert Art. 22 nicht. Erforderlich ist eine echte, eigenständige Prüfung – der Mensch muss die Möglichkeit und tatsächlich die Fähigkeit haben, von der KI-Empfehlung abzuweichen, und dies im Zweifel auch nachvollziehbar tun.
Wann bereits ein Score eine Entscheidung ist
Ein wegweisender EuGH-Fall betraf Kreditscoring: Der Gerichtshof stellte klar, dass ein Score selbst bereits eine Entscheidung nach Art. 22 sein kann, wenn ein Dritter – etwa eine Bank, die auf Basis des Scores über einen Kreditantrag entscheidet – dem Score maßgebliche Bedeutung beimisst. Es kommt also nicht nur darauf an, wer formal die Endentscheidung trifft, sondern darauf, welche faktische Rolle der automatisiert erzeugte Wert im Gesamtprozess spielt. Das ist entscheidend für die Bewertung von Bonitätsauskunfteien und ähnlichen Scoring-Diensten, deren Ergebnisse an Dritte weitergegeben werden.
Recht auf Erklärung statt Quellcode-Offenlegung
Betroffene haben bei automatisierten Entscheidungen Anspruch auf eine verständliche Erklärung des tatsächlich angewandten Verfahrens. Nach der Rechtsprechung genügt die bloße Offenlegung des Algorithmus-Quellcodes dafür nicht – umgekehrt müssen Unternehmen aber auch nicht zwingend den vollständigen Quellcode offenlegen, weil Geschäftsgeheimnisse gegen das Auskunftsinteresse abgewogen werden. Entscheidend ist eine für die betroffene Person nachvollziehbare Erklärung, welche Faktoren zu welchem Ergebnis geführt haben – nicht die technische Dokumentation im Detail.
Bewerbervorsortierung als Praxisfall
Bewerbervorsortierung durch KI kann Art. 22 auslösen, wenn Einladungen oder Absagen faktisch automatisiert erfolgen – etwa wenn ein System Bewerbungen so filtert, dass unterhalb einer bestimmten Score-Schwelle praktisch nie eine Einladung erfolgt, ohne dass jede einzelne Ablehnung tatsächlich von einem Menschen geprüft wird. Echte menschliche Kontrolle und mögliche gesetzliche Ausnahmen sind hier gesondert zu prüfen – ein pauschales „ein HR-Mitarbeiter sieht die Liste" reicht dafür in der Regel nicht aus.
Was Unternehmen konkret prüfen sollten
- Wird in einem Prozess ein KI-Score oder eine KI-Empfehlung erzeugt, die rechtliche oder vergleichbar erhebliche Auswirkungen hat – etwa Kreditvergabe, Personalentscheidung, Vertragskonditionen oder Zugang zu Leistungen?
- Prüft ein Mensch die Empfehlung tatsächlich eigenständig, mit realer Abweichungsmöglichkeit – oder wird sie in der Praxis nahezu immer übernommen?
- Ist dokumentiert, wie die Erklärung gegenüber Betroffenen aussehen würde, falls diese eine solche einfordern?
- Wird der Score oder das Ergebnis an Dritte weitergegeben, die ihm maßgebliche Bedeutung beimessen könnten?