Start / Themen / Digitalisierung & KI / Antwort
Digitalisierung & KI

RAG – Retrieval Augmented Generation: KI mit eigenem Unternehmenswissen

Kurz gesagt

RAG verbindet ein Sprachmodell mit einer Dokumentensuche — relevante Textabschnitte werden zur Laufzeit abgerufen und dem Modell als Kontext übergeben, sodass die KI aus den eigenen Unternehmensdaten antwortet. Neue oder geänderte Dokumente werden einfach neu indexiert, ein Modell-Training ist nicht nötig.

Das Halluzinationsproblem — und warum RAG es entschärft

Sprachmodelle sind auf riesigen Textmengen trainiert, aber dieses Training hat einen Stichtag, und was in einem einzelnen Unternehmen passiert, stand nie im Trainingsdatensatz. Fragt man ein Modell nach der aktuellen Preisliste oder dem Inhalt eines Arbeitsvertrags, erfindet es eine plausibel klingende, aber falsche Antwort. RAG löst das, indem es das Modell mit einer dynamischen Wissensquelle kombiniert: Statt Antworten aus dem Trainingsgedächtnis zu ziehen, sucht das System bei jeder Anfrage in den eigenen Dokumenten nach relevanten Textabschnitten und übergibt diese als Kontext. Das Ergebnis: deutlich weniger Halluzinationen, aktuelle Informationen ohne Modell-Neutraining und Kontrolle darüber, welches Wissen die KI nutzt.

Wie RAG technisch funktioniert

Ein RAG-System arbeitet in zwei Hauptphasen. Bei der Indexierung werden Dokumente in kleinere Textabschnitte aufgeteilt, jeder Abschnitt wird durch ein Embedding-Modell in einen Vektor umgewandelt, der die semantische Bedeutung repräsentiert, und diese Vektoren werden in einer Vektordatenbank gespeichert. Bei Retrieval und Generation wird eine Nutzerfrage ebenfalls in einen Vektor umgewandelt, das System sucht die ähnlichsten Textabschnitte, und diese werden zusammen mit der Frage an das Sprachmodell übergeben, das seine Antwort ausschließlich auf dieser Basis formuliert — idealerweise mit Angabe der Quelle.

Die nötigen Komponenten

  • Embedding-Modell: wandelt Text in Vektoren um; für Indexierung und Retrieval muss dasselbe Modell verwendet werden.
  • Vektordatenbank: speichert die Vektoren und ermöglicht schnelle Ähnlichkeitssuche — gehostete und selbst hostbare Optionen stehen zur Wahl.
  • Chunking-Strategie: bestimmt die Retrieval-Qualität entscheidend. Zu kleine Abschnitte verlieren Kontext, zu große enthalten zu viel Irrelevantes; eine Größe von 256 bis 512 Tokens mit etwas Überlappung ist ein guter Ausgangspunkt.
  • Sprachmodell für die Generierung: Cloud-Modelle oder lokale Modelle, abhängig von Datenschutzanforderungen und Hardware.

Anwendungsfälle im Mittelstand

Eine interne Wissensdatenbank, in der Mitarbeitende Fragen an eine KI stellen, die aus Handbüchern und Richtlinien antwortet. Ein Produkt- und Handbuch-Assistent für Montageanleitungen. Vertragsprüfung, bei der Einkäufer nach Laufzeiten oder Kündigungsfristen fragen. Ein Support-Bot, der Kundenanfragen auf Basis aktueller Produktdokumentation beantwortet. Und ein Compliance-Assistent, der Mitarbeitenden aktuelle Vorschriften erklärt.

RAG vs. Fine-Tuning

Fine-Tuning verändert die Gewichte eines Modells dauerhaft und verbessert Ton, Stil und Domänenwissen — eignet sich aber schlecht für Faktenwissen, das sich ändert, weil es bei jeder Wissensänderung wiederholt werden muss, teuer und zeitaufwendig ist. RAG ergänzt das Modell zur Laufzeit mit aktuellem Wissen: Neue Dokumente lassen sich jederzeit indexieren, ohne das Modell neu zu trainieren, und das System kann Quellen nennen, was Vertrauen schafft. Für die meisten Unternehmensanwendungen ist RAG die günstigere und flexiblere Wahl; wer beides kombiniert — Fine-Tuning für Ton und Fachvokabular, RAG für aktuelles Faktenwissen — hat die leistungsfähigste, aber auch aufwendigste Option.

Qualität messen und Datenschutz beachten

RAG-Systeme können auf zwei Ebenen versagen: beim Retrieval, wenn die falschen Textabschnitte gefunden werden, und bei der Generierung, wenn das Modell trotz korrekter Abschnitte falsch antwortet. Beide Ebenen sollten regelmäßig geprüft werden. Werden Dokumente mit personenbezogenen Daten indexiert und über Cloud-Anbieter abgefragt, muss ein Auftragsverarbeitungsvertrag mit dem Anbieter vorliegen; für besonders sensible Daten wie Personalakten oder Gesundheitsdaten empfiehlt sich ein vollständig lokaler RAG-Aufbau ohne Cloud-Anfragen.

Häufige Fragen

Muss ich bei RAG ein Modell neu trainieren, wenn sich Dokumente ändern?
Nein, das ist einer der größten Vorteile gegenüber Fine-Tuning: geänderte Dokumente werden einfach neu indexiert, das Sprachmodell selbst bleibt unverändert.
Was ist der Unterschied zwischen RAG und einem normalen Chatbot?
Ein normaler Chatbot antwortet aus seinem Trainingsgedächtnis, RAG sucht bei jeder Frage aktiv in den eigenen Dokumenten und antwortet auf dieser Basis.
Wie groß sollten die Textabschnitte bei RAG sein?
Als Faustregel 256 bis 512 Tokens mit etwas Überlappung; bei strukturierten Dokumenten empfiehlt sich Chunking nach Abschnitten.