RAG – Retrieval Augmented Generation: KI mit eigenem Unternehmenswissen

Große Sprachmodelle (LLMs) sind auf riesigen Textmengen trainiert – aber dieses Training hat einen Stichtag. Was nach dem Training passiert ist, weiß das Modell nicht. Noch wichtiger: Was in Ihrem Unternehmen passiert, stand nie im Trainingsdatensatz. Fragen Sie ein LLM nach Ihrer aktuellen Preisliste oder dem Inhalt Ihres Arbeitsvertrags, erfindet es eine plausibel klingende Antwort – das nennt man Halluzination.

Retrieval Augmented Generation (RAG) löst dieses Problem, indem es das Sprachmodell mit einer dynamischen Wissensquelle kombiniert. Statt alle Antworten aus dem Trainingsgedächtnis zu ziehen, sucht das System bei jeder Anfrage in Ihren Dokumenten nach relevanten Textabschnitten und übergibt diese als Kontext an das LLM. Das Modell antwortet dann auf Basis dieser konkreten, aktuellen Textpassagen – und kann sogar auf die Quelle verweisen.

Das Ergebnis: deutlich weniger Halluzinationen, aktuelle Informationen ohne Modell-Neutraining und volle Kontrolle darüber, welches Wissen die KI nutzt.

Ein RAG-System arbeitet in zwei Hauptphasen: Indexierung (einmalig) und Retrieval + Generation (bei jeder Anfrage).

Phase 1 – Indexierung: Ihre Dokumente (PDFs, Word-Dateien, Webseiten, Datenbankinhalte) werden in kleinere Textabschnitte aufgeteilt – sogenannte Chunks. Jeder Chunk wird durch ein Embedding-Modell in einen hochdimensionalen Zahlenvektor umgewandelt, der die semantische Bedeutung des Textes repräsentiert. Diese Vektoren werden in einer Vektordatenbank gespeichert.

Phase 2 – Retrieval: Wenn ein Nutzer eine Frage stellt, wird auch die Frage in einen Vektor umgewandelt. Das System sucht in der Vektordatenbank nach den Chunks, deren Vektoren dem Frage-Vektor am ähnlichsten sind – semantische Ähnlichkeit statt simples Stichwort-Matching. Die relevantesten drei bis zehn Chunks werden ausgewählt.

Phase 3 – Generation: Die ausgewählten Chunks werden zusammen mit der ursprünglichen Frage als Kontext an das Sprachmodell übergeben. Das Prompt sieht in etwa so aus: »Beantworte folgende Frage nur auf Basis dieser Textabschnitte: [Chunks]. Frage: [Nutzerfrage]«.

Phase 4 – Antwort mit Quellenangabe: Das LLM formuliert eine Antwort, die sich auf die übergebenen Chunks stützt. Gute RAG-Systeme zeigen dem Nutzer auch, aus welchem Dokument und welcher Seite die Information stammt.

Viele Unternehmen fragen sich, ob sie ein Modell lieber mit ihren Daten fine-tunen sollen, statt RAG einzusetzen. Die Antwort hängt vom Anwendungsfall ab – in den meisten Fällen ist RAG die bessere Wahl.

Fine-Tuning verändert die Gewichte des Modells dauerhaft. Es verbessert Ton, Stil und Domänenwissen – eignet sich aber schlecht für aktuelles Faktenwissen, das sich ändert. Ein feingetuntes Modell weiß nicht, was nach seinem Trainingsschnitt passiert ist, und es kann nicht zuverlässig auf Quellen verweisen. Fine-Tuning ist teuer, zeitaufwendig und muss bei Wissensänderungen wiederholt werden.

RAG ergänzt das Modell zur Laufzeit mit aktuellem Wissen. Neue Dokumente können jederzeit indexiert werden – ohne Modell-Neutraining. Das System kann Quellen nennen, was Vertrauen aufbaut und Fehler nachvollziehbar macht. RAG ist günstiger, flexibler und für die meisten Unternehmensanwendungen die richtige Wahl.

Kombination: Fine-Tuning für Ton und Fachvokabular, RAG für aktuelles Faktenwissen – das ist die leistungsfähigste, aber auch aufwendigste Option für Unternehmen mit hohem Volumen und spezifischen Anforderungen.

RAG-Systeme können auf zwei Ebenen versagen: beim Retrieval (werden die richtigen Chunks gefunden?) und bei der Generation (antwortet das LLM korrekt auf Basis der Chunks?). Beide Ebenen müssen separat bewertet werden.

Für die Retrieval-Qualität sind die wichtigsten Metriken: Precision@k (wie viele der k abgerufenen Chunks sind tatsächlich relevant?) und Recall@k (wie viele der relevanten Chunks wurden in den Top-k gefunden?). Für die Generierungs-Qualität prüft man Faithfulness (beruht die Antwort wirklich auf den Chunks, ohne Hinzuerfindungen?) und Answer Relevance (beantwortet die Antwort die gestellte Frage?). Frameworks wie RAGAS oder LlamaIndex Evaluators automatisieren diese Bewertung.