Large Language Models im Unternehmenseinsatz: Potenziale, Risiken und Einstieg
Kurz gesagt
Large Language Models (LLMs) wie GPT-4 oder Claude sind Sprachmodelle, die Texte verstehen und erzeugen – nutzbar über API oder als selbst gehostetes Modell. Die Kosten hängen stark vom Volumen ab: Eine typische Mittelstandsanwendung mit täglicher Nutzung liegt über die API bei etwa 200 bis 800 Euro im Monat, Self-Hosting ab rund 500 Euro Serverkosten zuzüglich internem Aufwand.
Was Large Language Models tatsächlich können
Large Language Models wie GPT-4 von OpenAI, Claude von Anthropic, Gemini von Google oder die Open-Source-Familie Llama von Meta basieren auf der sogenannten Transformer-Architektur und wurden auf enormen Textmengen trainiert. Das Modell lernt statistische Zusammenhänge zwischen Wörtern und Sätzen und kann dadurch kohärente, kontextbezogene Texte generieren, Fragen beantworten, Dokumente zusammenfassen und Code schreiben.
Das Training läuft in zwei Phasen: Im Pre-Training lernt das Modell aus Milliarden Textdokumenten – ohne spezifisches Ziel, nur durch Vorhersage des jeweils nächsten Wortes. Im anschließenden Fine-Tuning wird es auf nützliche, sichere und hilfreiche Antworten ausgerichtet. Unternehmen können Modelle zusätzlich auf eigene Daten spezialisieren, was allerdings erheblichen Ressourceneinsatz erfordert.
Wichtig zu verstehen: Ein LLM speichert kein faktisches Wissen wie eine Datenbank, sondern hat Sprachmuster gelernt. Das erklärt, warum es Dinge falsch, aber überzeugend darstellen kann – sogenannte Halluzinationen. Für den Unternehmenseinsatz bedeutet das: LLMs sind starke Assistenten für Formulierung, Analyse und Strukturierung, aber keine alleinige Wissensquelle für kritische Entscheidungen.
Typische Unternehmensanwendungen
- Texterstellung: Marketing-Copy, Pressemitteilungen, Produktbeschreibungen und interne Kommunikation
- Dokumentenanalyse: Verträge, Berichte und Protokolle zusammenfassen und nach relevanten Informationen durchsuchen
- Code-Generierung: Entwickler-Assistenz für Boilerplate-Code, Dokumentation und Fehlerbehebung
- Kundenkommunikation: E-Mail-Entwürfe, Support-Antworten und FAQ-Beantwortung auf Basis einer Wissensdatenbank
- Interne Wissensdatenbanken: Mitarbeiterfragen zu Prozessen, HR-Richtlinien und Handbüchern automatisch beantworten
- Datenaufbereitung: unstrukturierte Texte in strukturierte Formate überführen, etwa Freitext in JSON oder Tabellen
API-Nutzung oder selbst gehostetes Modell
Für Unternehmen gibt es grundsätzlich zwei Wege. Die API-Nutzung über Anbieter wie OpenAI, Anthropic oder Google ist der einfachste Einstieg: keine eigene Infrastruktur, sofort nutzbar, abgerechnet nach verarbeiteten Token. Der entscheidende Nachteil: Unternehmensdaten werden an externe Server übertragen – ein kritischer Punkt für datenschutzsensible Branchen wie Gesundheit, Recht oder Finanzen.
Die Alternative sind selbst gehostete Open-Source-Modelle, allen voran Llama (Meta) oder Mistral (Frankreich). Diese laufen auf eigener Hardware oder in einer privaten Cloud – Daten verlassen das Unternehmen nicht. Der Preis: erheblicher Infrastrukturaufwand, spezialisiertes Know-how und in der Regel schwächere Baseline-Performance im Vergleich zu den führenden proprietären Modellen. Für viele KMU eignet sich ein hybrider Ansatz: unkritische Aufgaben über die API, sensible Anwendungsfälle über lokale Modelle.
Eine wichtige Zwischenlösung sind Enterprise-APIs mit Datenschutzgarantien wie Azure OpenAI Service oder Anthropics Enterprise-Tier: Daten bleiben in einer dedizierten, isolierten Umgebung und fließen nicht in das Training des Anbieters ein. Für viele mittelständische Unternehmen ist das der pragmatischste Weg.
Wer personenbezogene Daten (Kundennamen, E-Mail-Adressen, Gesundheitsdaten) an externe LLM-APIs sendet, muss in der Regel eine Auftragsverarbeitungsvereinbarung mit dem Anbieter abschließen und prüfen, ob ein DSGVO-konformer Datentransfer möglich ist. Besonders zu beachten: Viele US-Anbieter unterliegen dem CLOUD Act, der US-Behörden unter bestimmten Voraussetzungen Zugriff auf gespeicherte Daten ermöglicht. Eine juristische Prüfung vor dem Produktiveinsatz ist deshalb Pflicht.
LLM-Evaluation: So finden Sie das richtige Modell
1. Anwendungsfall präzise definieren: 10–20 repräsentative Testaufgaben aus dem konkreten Einsatzszenario formulieren – etwa typische Kundenanfragen oder Vertragszusammenfassungen. 2. Benchmark-Tests mit mehreren Modellen durchführen: dieselben Aufgaben an 2–3 Modelle senden und die Ausgaben blind nach Korrektheit, Vollständigkeit, Ton und Formatierung bewerten. 3. Kosten hochrechnen: monatliches Token-Volumen auf Basis der Test-Läufe schätzen und für 3, 6 und 12 Monate hochrechnen – Input- und Output-Token werden unterschiedlich bepreist. 4. Datenschutz-Risiko bewerten: Daten nach öffentlich, intern, vertraulich oder streng vertraulich klassifizieren – ab vertraulich braucht es eine Enterprise-Lösung oder Self-Hosting. 5. Pilotprojekt mit klaren Kennzahlen starten: 4–6 Wochen mit einem Team von 5–10 Nutzern, Zeitersparnis, Qualität und Zufriedenheit messen, bevor skaliert wird.
Typische Fehleinschätzungen
Die häufigste Fehleinschätzung ist die Verwechslung von Sprachkompetenz mit Faktenwissen. LLMs klingen überzeugend – aber Überzeugungskraft ist kein Indikator für Korrektheit. Halluzinationen sind kein Bug, sondern ein strukturelles Merkmal der Technologie. Jede LLM-Ausgabe, die als Faktenbasis für Entscheidungen dient, muss deshalb von einem Menschen geprüft werden.
Eine weitere Fehleinschätzung betrifft die Aktualität: Das Wissen eines LLMs endet an einem Trainings-Stichtag. Aktuelle Informationen wie Preise, Gesetze oder Marktdaten müssen über Retrieval-Augmented Generation separat eingespeist werden. Und schließlich wird oft unterschätzt, wie stark die Qualität des Prompts das Ergebnis beeinflusst – Prompt Engineering ist eine eigene Disziplin, in die Zeit und gegebenenfalls Schulungsbudget investiert werden sollte.