Fine-Tuning, Prompting oder RAG? Wann sich eine Modellanpassung wirklich lohnt
Kurz gesagt
In den meisten Fällen sollte zuerst Prompting mit guten Beispielen, strukturierten Ausgaben und Retrieval-Augmented Generation geprüft werden – Fine-Tuning ist selten die erste Wahl. Es lohnt sich erst, wenn viele stabile Beispiele und eine messbare Konsistenzlücke im Modellverhalten vorliegen, etwa bei Tonalität, Format oder wiederkehrenden Mustern in der Werkzeugauswahl. Für aktuelle Unternehmensfakten ist Fine-Tuning dagegen ungeeignet – dafür ist RAG mit laufend aktualisierbaren Dokumenten der richtige Weg.
Was Fine-Tuning technisch bedeutet
Fine-Tuning passt die Parameter eines vortrainierten Modells oder zusätzliche, kompakte Adapter anhand eigener Trainingsbeispiele an. Verfahren wie LoRA und QLoRA reduzieren dabei den nötigen Speicher- und Rechenaufwand deutlich gegenüber einem vollständigen Neutraining. Ein verwandtes Verfahren, direkte Präferenzoptimierung (DPO), passt ein Modell anhand von Präferenzvergleichen an, statt klassischer Trainingsbeispiele. Distillation überträgt gelerntes Verhalten eines größeren Modells auf ein kleineres, schnelleres Modell.
Die Reihenfolge, die vor Fine-Tuning stehen sollte
Bevor eine Modellanpassung überhaupt in Betracht gezogen wird, lohnt sich die Prüfung günstigerer Alternativen:
- Problem: Ton und Format passen nicht. Zuerst prüfen: bessere Prompts, mehr Beispiele im Prompt, strukturierte Ausgabevorgaben. Fine-Tuning ist hier nur sinnvoll, wenn viele stabile Beispiele und eine messbare, wiederkehrende Konsistenzlücke bestehen bleiben.
- Problem: Fachsprache der eigenen Domäne fehlt. Zuerst prüfen: bessere Prompts, ein Glossar im Kontext, Retrieval-Augmented Generation. Fine-Tuning ist hier kein Ersatz für aktuelle Dokumente – Fachwissen, das sich ändert, gehört nicht ins Modell selbst.
- Problem: Das Modell wählt oft die falschen Werkzeuge aus. Zuerst prüfen: besseres Tooldesign, klarere Werkzeugbeschreibungen, gezielte Testfälle (Evals). Fine-Tuning kann bei wiederkehrenden Mustern im Modellverhalten helfen, ersetzt aber keine saubere Autorisierungsprüfung.
- Problem: Aktuelle Unternehmensfakten sollen abrufbar sein. Die Lösung ist praktisch nie Fine-Tuning, sondern RAG in Verbindung mit Programmierschnittstellen und dem eigentlichen System of Record. Ein feinabgestimmtes Modell ist keine laufend aktualisierbare Wissensquelle.
- Problem: Ein kleineres, lokales Modell soll denselben Nutzen liefern. Hier kann Distillation infrage kommen – aber nur, wenn ein großer, stabiler Werkzeugraum und ausreichend belastbare Trainingsdaten vorliegen; als Ersatz für laufende Betriebsautomatisierung eignet sich das Verfahren selten.
Warum Fine-Tuning für aktuelle Fakten die falsche Antwort ist
Ein häufiger Denkfehler ist die Annahme, ein Unternehmen könne sein aktuelles Produktwissen "ins Modell trainieren" und habe damit ein für alle Mal einen sachkundigen Assistenten. Fine-Tuning verändert aber statistische Muster im Modell, keine abrufbare, korrigierbare Wissensdatenbank. Ändert sich ein Preis, ein Produktdetail oder eine Richtlinie, müsste im ungünstigsten Fall erneut trainiert werden – ein aufwendiger, langsamer Weg gegenüber einem RAG-System, in dem einfach ein Dokument aktualisiert wird.
Wann Fine-Tuning trotzdem der richtige Weg ist
Fine-Tuning ist selten die erste, aber gelegentlich die richtige Wahl – nämlich dann, wenn ausreichend viele stabile, repräsentative Beispiele vorliegen und eine konkrete, messbare Lücke im Modellverhalten besteht, die sich durch Prompting allein nachweislich nicht schließen lässt. Das betrifft typischerweise sehr spezifische, wiederkehrende Stilanforderungen oder Verhaltensmuster – nicht Faktenwissen, das sich ändert, und nicht Autorisierungslogik, die ohnehin außerhalb des Modells kontrolliert werden muss.