RAG aufbauen: Wie Unternehmen eigene Daten in KI-Systeme einbinden
Kurz gesagt
RAG (Retrieval Augmented Generation) kombiniert ein Sprachmodell mit einer Vektordatenbank eigener Dokumente. Bei jeder Anfrage werden relevante Textausschnitte abgerufen und dem Modell als Kontext übergeben — so antwortet die KI aus den eigenen Inhalten statt aus dem allgemeinen Training.
Was RAG ist und warum es Halluzinationen reduziert
RAG verbindet ein Sprachmodell mit einer durchsuchbaren Wissensbasis. Anstatt dem Modell alle Informationen beim Training beizubringen, wird bei jeder Anfrage dynamisch nach relevanten Inhalten gesucht, die dem Modell als Kontext mitgegeben werden. Dokumente werden dazu in kleine Abschnitte aufgeteilt und als Vektoren gespeichert; bei einer Frage sucht das System die semantisch ähnlichsten Abschnitte und übergibt sie zusammen mit der Frage an das Modell, das dann ausschließlich auf dieser Basis antwortet. Halluzinationen können bei RAG weiterhin auftreten — aber nur, wenn die eigenen Dokumente lückenhaft sind. Das ist kontrollierbar.
Voraussetzungen für eine RAG-Implementierung
- Strukturierte Dokumente: PDFs, Handbücher, Webseiteninhalte, Datenbankinhalte — je strukturierter, desto besser die Ergebnisse
- Ausreichende Dokumentqualität: veraltete oder widersprüchliche Dokumente erzeugen schlechte Antworten
- Embedding-Modell, das Text in Vektoren umwandelt
- Vektordatenbank, die diese Vektoren speichert und durchsucht
- Sprachmodell mit ausreichendem Kontextfenster
- Klare Zugriffsrechte, da nicht alle Mitarbeitenden alle Dokumente sehen sollen
RAG Schritt für Schritt aufbauen
1. Dokumente sammeln und bereinigen: Handbücher, FAQs, Prozessbeschreibungen, Support-Tickets und interne Wikis inventarisieren, Duplikate entfernen, veraltete Inhalte aussortieren. Schlechte Dokumentqualität ist die häufigste Ursache für unbefriedigende Ergebnisse. 2. Chunking-Strategie wählen: Dokumente in Abschnitte von etwa 300 bis 500 Tokens mit leichter Überlappung aufteilen; bei strukturierten Dokumenten eignet sich eine Aufteilung entlang von Überschriften. 3. Embedding-Modell wählen: für deutschsprachige Inhalte eignen sich mehrsprachige oder speziell für Deutsch optimierte Modelle. Ein späterer Wechsel erfordert komplettes Re-Embedding aller Dokumente. 4. Vektordatenbank einrichten: für den Einstieg eine einfach zu installierende Lösung, für Produktivsysteme mit hohem Volumen eine leistungsfähigere Datenbank. 5. Retrieval isoliert testen: vor der Anbindung des Sprachmodells mit Testfragen prüfen, ob die richtigen Dokument-Abschnitte zurückgegeben werden, und Chunk-Größe sowie Anzahl der zurückgegebenen Treffer optimieren. 6. Sprachmodell einbinden: der Systemprompt sollte explizit vorgeben, dass ausschließlich auf Basis der bereitgestellten Quellen geantwortet wird — und bei fehlenden Informationen klar mitgeteilt wird, dass die Antwort nicht in den Dokumenten vorhanden ist. 7. Qualität kontinuierlich prüfen: Nutzerfragen und Antworten erfassen, Lücken in der Wissensbasis identifizieren und Dokumente regelmäßig aktualisieren.
RAG-Qualität hängt direkt von der Dokumentqualität ab — ein schlecht gepflegtes Archiv erzeugt unzuverlässige Antworten, unabhängig davon, wie gut das Sprachmodell ist. Dokumenten-Pflege ist Voraussetzung, kein Nachgedanke. Mit einem bestehenden No-Code- oder Low-Code-Framework für RAG-Pipelien lässt sich gegenüber der Eigenentwicklung erheblich Zeit sparen.
RAG vs. Fine-Tuning: Wann welche Lösung?
RAG ist die richtige Wahl, wenn sich die Wissensbasis regelmäßig ändert, Transparenz wichtig ist — das Modell kann Quellen angeben —, die Datenmenge groß und heterogen ist oder ein schneller Start ohne aufwendiges Training gewünscht ist. Fine-Tuning ist sinnvoll, wenn das Modell einen sehr spezifischen Stil oder Ton lernen soll oder bestimmte Aufgabentypen konsistent ausgeführt werden müssen. In der Praxis kombinieren viele Unternehmen beide Ansätze: Fine-Tuning für Stil und Verhalten, RAG für aktuelle Fachinhalte.