Wie baut ein Mittelständler eine KI-Governance-Struktur ohne eigene Compliance-Abteilung auf?

Governance ist ein Betriebssystem, kein Organigramm

Ein einzelner "AI Officer", ein Board oder eine Richtlinie koordiniert KI-Governance, ersetzt sie aber nicht. Wirksame Governance verbindet Leitungsverantwortung, ein Anwendungsinventar, Risikoklassifikation, Rollen, Freigaben, Kontrollen, Nachweise, Monitoring und Verbesserung. Für die meisten mittelständischen Unternehmen ist die sinnvolle erste Ausbaustufe deshalb kein Zertifizierungsprojekt, sondern genau dieser funktionsfähige Mindestbetrieb — ISO/IEC 42001 kann ihn später formalisieren und auditierbar machen, muss es aber nicht.

Das Mindestpaket für die ersten 30 Tage

Aus der Praxis lässt sich ein realistischer Einstieg ableiten, der ohne Compliance-Abteilung machbar ist:

• Mandat der Geschäftsleitung und ein benannter Governance Lead mit Befugnis und Zeitbudget.
• Ein vorläufiges Inventar aus Einkauf, SSO-Anmeldungen, Fachbereichen und bekannten Tools — auch Schatten-KI gehört hinein.
• Drei bis fünf interne Risikostufen mit klaren Stop-Kriterien für unzulässige Fälle.
• Ein kurzes Intake- und Freigabeformular für neue Vorhaben.
• Freigegebene Standardwerkzeuge und dazu passende Datenklassen (was darf hinein, was nicht).
• Eine interne Nutzungsrichtlinie mit Melde- und Ansprechpartnern.
• Eine erste rollenbezogene Schulung für Nutzer, Owner und Prüfende.
• Ein Incident- und Eskalationsweg sowie ein terminierter nächster Management Review.

Dieses Paket ersetzt keine vollständige Governance, schafft aber die operative Grundlage: Für jedes produktive System lässt sich danach benennen, wer wofür verantwortlich ist.

Cross-funktionales Team statt eigener Abteilung

Im Mittelstand empfiehlt sich kein neues Fachreferat, sondern ein cross-funktionales Governance-Team aus vorhandenen Rollen: Fachbereich, IT/Security, Datenschutz, Legal/Compliance (auch extern eingekauft), HR und Einkauf. Fälle mit geringem oder moderatem Risiko können delegiert entschieden werden, hohe oder regulierte Risiken sollten zentral im Team entschieden werden. Ein gemeinsames Register und standardisierte Vorlagen verhindern, dass jede Abteilung eigene, widersprüchliche KI-Regeln entwickelt.

Die zwölf Dokumente, auf die es ankommt

Eine einzige KI-Richtlinie ist für den Betrieb zu grob. Sinnvoll ist ein schlanker, miteinander verknüpfter Dokumentenstapel — kleinere Unternehmen dürfen mehrere Ebenen in einem gemeinsamen Handbuch bündeln, müssen aber die Funktionen abdecken:

1. KI-Grundsätze und Risikobereitschaft — Leitungsentscheidung über Ziele, rote Linien und Eskalation (Owner: Geschäftsleitung, Review jährlich). 2. KI-Nutzungsrichtlinie — erlaubte Werkzeuge, Datenklassen, Prüfpflicht, verbotene Nutzungen, Meldung (Owner: Governance/HR/IT, Review mindestens halbjährlich). 3. Use-Case- und Freigabeverfahren — Risikostufen, Trigger, zuständige Prüfer, Befristung. 4. Daten- und Wissensrichtlinie — zulässige Quellen, Datenqualität, Rechte, RAG, Löschung. 5. Anbieter- und Beschaffungsstandard — Due Diligence, Vertragsklauseln, Exit-Regeln. 6. Entwicklungs- und MLOps-Standard — Versionierung, Tests, Freigaben, Rollback. 7. Human-Oversight-Standard — Entscheidungsgrenzen, Override, Vier-Augen-Prinzip, Eskalation. 8. Test- und Validierungsstandard — Leistungsmetriken, Subgruppen, Robustheit, Sicherheit. 9. Monitoring- und Change-Standard — Metriken, Schwellenwerte, Revalidierung. 10. Incident- und Beschwerdeprozess — Meldekanäle, Triage, Untersuchung, Lernschleife. 11. Dokumentations- und Evidenzstandard — Systemakte, Entscheidungen, Tests, Schulungsnachweise. 12. Mitbestimmungs- und Beschäftigtenprozess — Frühinformation, Beteiligungstatbestände, Betriebsvereinbarungen.

Nicht jedes dieser Dokumente hat eine eigene gesetzliche Überschrift — viele sind Nachweisformen allgemeiner Organisations-, Rechenschafts-, Sicherheits- oder Mitbestimmungspflichten. Das Unternehmen darf ein eigenes Format wählen, muss aber Zweck, Verantwortung, Entscheidung und Wirksamkeit nachvollziehbar belegen.

Drei Ausbaustufen je nach Unternehmensgröße

• Kleines Unternehmen: ein zentraler Owner, eine kurze Use-Case-Liste, drei bis fünf Risikostufen, freigegebene Werkzeuge, externe Rechts-/Security-Unterstützung bei Bedarf und ein quartalsweises Review.
• Mittelstand: ein cross-funktionales Governance-Team, delegierte Freigabe für geringe und moderate Risiken, zentrale Entscheidung für hohe Risiken, ein gemeinsames Register.
• Konzern/regulierte Organisation: föderierte Governance mit zentralen Standards, lokaler Verantwortung, konsolidiertem Reporting und unabhängiger Validierung für kritische Systeme — meist erst hier lohnt sich zusätzlich eine formale ISO/IEC-42001-Zertifizierung.