Wie funktioniert ein KI-Sprachmodell technisch wirklich?

Die Grundoperation: Attention statt Verstehen

Der 2017 vorgestellte Transformer ist eine neuronale Architektur, deren zentrale Operation Self-Attention heißt. Sie berechnet für jede Wortposition gewichtete Beziehungen zu anderen Positionen im Text — das Modell „sieht" also, welche Textstellen für die aktuelle Vorhersage relevant sind. Diese Rechenoperation macht das Training extrem gut parallelisierbar, weshalb sich Transformer mit riesigen Datenmengen skalieren ließen. Daraus folgt aber nicht, dass Attention eine Datenbank ist, ein Wahrheitsmechanismus oder mit menschlichem Bedeutungsverständnis vergleichbar. Ein hoher Attention-Wert an einer Textstelle erklärt zudem nicht vollständig, wie eine Ausgabe zustande kam — die Berechnung läuft über viele weitere Schichten und nichtlineare Verarbeitungsschritte.

Wichtig für die Praxis: „Das Modell hat den Text gesehen" bedeutet nicht „das Modell hat jede Stelle korrekt berücksichtigt".

Pretraining: Wahrscheinlichkeit, nicht Wahrheit

Heutige Chatmodelle beruhen meist auf sogenannten Decoder-only-Transformern. Beim Training sagt das Modell aus den vorherigen Wörtern das jeweils nächste vorher. Bewertet wird dabei ausschließlich, wie wahrscheinlich eine Fortsetzung ist — nicht, ob eine vollständige Antwort inhaltlich wahr ist. Aus großen Textmengen entstehen dadurch dennoch Grammatik, Stil, Faktenassoziationen und teilweise übertragbare Problemlösungsstrategien, weil das Modell riesige Mengen an Regelmäßigkeiten komprimieren muss. Diese Fähigkeiten sind eine Folge des Trainingsziels, aber nicht identisch mit ihm: Ein Modell kann grammatikalisch perfekten, überzeugend klingenden Text erzeugen, der inhaltlich falsch ist, weil beides aus derselben statistischen Logik stammt.

Skalierung: Größer ist nicht automatisch besser

Skalengesetze beschreiben, dass mit mehr Rechenleistung, mehr Trainingsdaten und mehr Parametern der Trainingsfehler eines Modells vorhersagbar sinkt — innerhalb bestimmter untersuchter Bereiche. Sie sind aber keine Naturgesetze und keine Garantie für jede nachgelagerte Fähigkeit. Die Chinchilla-Forschung zeigte, dass viele große Modelle im Verhältnis zu ihrer Größe mit zu wenig Trainingsdaten trainiert waren — Compute-optimal bedeutet nicht „möglichst viele Parameter", sondern eine abgestimmte Verteilung von Modellgröße, Datenmenge und Rechenbudget.

Ebenso wichtig: Parameterzahl, tatsächlich aktivierte Parameter, Speicherbedarf, Trainingsaufwand und Betriebskosten sind unterschiedliche Größen, die nicht gleichgesetzt werden dürfen. Manche Modelle aktivieren pro Anfrage nur einen Teil ihrer Gesamtparameter, was einfache Größenvergleiche zusätzlich erschwert.

Nachtraining: Warum ein Chatbot anders klingt als das Basismodell

Ein trainiertes Basismodell wird selten direkt als Produkt genutzt. Erst durch zusätzliche Trainingsschritte entsteht das Verhalten, das man von einem Chatbot erwartet:

• Supervised Fine-Tuning lehrt gewünschte Antwortformate und Aufgabentypen anhand konkreter Beispiele.
• Präferenztraining bewertet Antwortpaare und richtet das Modell auf menschliche oder KI-generierte Bewertungen aus — dadurch wirkt ein Modell höflicher, hilfsbereiter und regelorientierter.

Ein kleineres, gut nachtrainiertes Modell kann in solchen Präferenztests ein deutlich größeres, nur vortrainiertes Basismodell übertreffen. Gleichzeitig kann Präferenztraining ein Nebenprodukt erzeugen, das in der Praxis stört: Menschen bewerten zustimmende, überzeugend klingende Antworten oft positiver als korrigierende — das begünstigt ein Verhalten, bei dem das Modell Nutzerannahmen bestätigt, auch wenn sie falsch sind.

Wie eine Antwort tatsächlich erzeugt wird

Bei der eigentlichen Textgenerierung stehen unterschiedliche Strategien zur Verfügung, die Genauigkeit, Kosten und Risiko gegeneinander abwägen:

• Direkte Auswahl der wahrscheinlichsten Fortsetzung ist günstig und stabil, wiederholt aber systematische Fehler zuverlässig.
• Mehrfachsampling erzeugt mehrere Antwortvarianten und liefert dadurch ein Unsicherheitssignal, kostet aber mehr Rechenzeit.
• Werkzeuganbindung (Rechner, Datenbankabfrage, Websuche) lässt das Modell exakte externe Fähigkeiten nutzen, statt Wissen zu erraten — und verschiebt Fehlerquellen auf Schnittstellen, Rechte und die korrekte Auswahl des Werkzeugs.

Was daraus für den Unternehmenseinsatz folgt

Ein Sprachmodell ist ein Kompressions- und Vorhersagesystem, kein Nachschlagewerk. Für den praktischen Einsatz bedeutet das: Aufgaben mit exakter Berechnung, eindeutigen Geschäftsregeln oder strukturierten Datenbankfakten gehören an spezialisierte Werkzeuge — nicht an das Sprachmodell allein. Das Modell ist dort stark, wo Sprache verstanden, zusammengefasst oder formuliert werden muss; es ist schwach, wo eine einzelne Behauptung ohne externe Prüfung als wahr gelten soll.