Multimodale KI: Wenn KI sieht, hört und liest – Potenziale für Unternehmen

Textbasierte KI-Modelle wie frühe GPT-Versionen konnten nur lesen und schreiben. Multimodale Modelle können darüber hinaus Bilder sehen, Audio hören, Dokumente lesen und – in ersten Systemen – Video verstehen. Die Besonderheit: All das passiert in einem einzigen Modell, das die verschiedenen Eingaben gemeinsam verarbeitet und in einer einheitlichen Antwort zusammenführt.

Ein Beispiel: Ein Mitarbeiter fotografiert ein beschädigtes Bauteil und fragt die KI: »Was ist das für ein Schaden und was sind die nächsten Schritte?« Ein multimodales Modell analysiert das Bild, erkennt die Art der Beschädigung und formuliert auf dieser Grundlage eine Antwort – ohne dass der Mitarbeiter den Schaden erst in Worten beschreiben müsste.

Der technische Fortschritt dahinter: Multimodale Modelle werden mit mehreren Encoder-Architekturen trainiert – einer für Sprache, einem für Bild (z. B. Vision Transformer), einem für Audio (z. B. Whisper-ähnliche Architekturen). Diese Encoder übersetzen die verschiedenen Modalitäten in einen gemeinsamen Repräsentationsraum, den das Sprachmodell dann für die Antwortgenerierung nutzt.

Bildanalyse in der Qualitätskontrolle: Kameras nehmen Produkte vom Fließband auf, ein multimodales Modell klassifiziert Defekte in Echtzeit. Anstatt teure spezialisierte Computer-Vision-Systeme zu bauen, genügt in vielen Fällen heute ein API-Aufruf an GPT-4o oder ein lokal betriebenes Modell wie LLaVA.

Automatische Dokumenten-Extraktion: Rechnungen, Lieferscheine, Formulare und Verträge werden als Bild oder PDF übergeben. Die KI extrahiert strukturiert Beträge, Daten, Lieferanten und Positionen – ohne OCR-Vorverarbeitung und ohne starre Vorlagen. Selbst handschriftliche Notizen oder unstrukturierte Layouts werden zuverlässig interpretiert.

Audio-Transkription und -Analyse: Kundengespräche, Meetings oder Serviceanrufe werden mit Whisper oder GPT-4o transkribiert, zusammengefasst und auf Stimmung, Aktionspunkte oder Vertragsinhalte analysiert. Das spart Protokollzeit und macht Gesprächsaufzeichnungen durchsuchbar.

Video-Content-Analyse: Schulungsvideos, Produktionsabläufe oder Sicherheitskameras werden frame-weise analysiert. Gemini 1.5 Pro kann stundenlange Videos direkt verarbeiten und Zusammenfassungen, Ereignis-Logs oder Qualitätsbewertungen liefern.

Multimodale Suchsysteme: Nutzer suchen per Bild (»Finde ähnliche Produkte wie auf diesem Foto«) oder kombinieren Text und Bild (»Ich habe dieses Diagramm aus einem Bericht – erkläre mir, was es bedeutet«).

Sobald multimodale KI Bilder von Personen verarbeitet – Mitarbeiterfotos, Kameraaufnahmen, Gesichter auf Fotos – greift die DSGVO. Wichtige Regeln:

Cloud-APIs: Prüfen Sie, ob der Anbieter einen Auftragsverarbeitungsvertrag (AVV) anbietet. OpenAI und Anthropic bieten AVVs an. Prüfen Sie außerdem, ob Ihr Plan die Daten fürs Modell-Training nutzt – beim API-Zugang in der Regel nicht, bei kostenlosen Web-Interfaces oft schon.

Gesichtserkennung: Als biometrische Verarbeitung besonders sensibler Daten nach Art. 9 DSGVO nur mit expliziter Einwilligung oder gesetzlicher Grundlage zulässig. Lassen Sie sich von einem Datenschutzbeauftragten beraten, bevor Sie Gesichtserkennung produktiv einsetzen.

Lokale Verarbeitung: Für sensible Bilder (Personalfotos, Patientenbilder, Sicherheitskamera-Aufnahmen) empfiehlt sich ein vollständig lokaler Stack: LLaVA oder ähnliche Open-Source-Modelle auf eigenem Server, kein Datenabfluss an Cloud-Dienste.