Sprachmodelle wie GPT oder Llama wissen viel über die Welt, aber nichts über Ihr Unternehmen. Sie kennen weder Ihre Produktdatenblätter noch Ihre internen Richtlinien. Retrieval Augmented Generation, kurz RAG, schließt diese Lücke. Dieser Beitrag erklärt das Prinzip ohne Fachchinesisch.
Das Prinzip in drei Schritten
- Suchen: Stellt jemand eine Frage, sucht das System zuerst in Ihren Dokumenten nach passenden Textstellen.
- Anreichern: Die gefundenen Stellen werden zusammen mit der Frage an das Sprachmodell übergeben.
- Antworten: Das Modell formuliert eine Antwort auf Basis dieser Stellen und kann die Quellen nennen.
Das Modell muss dafür nicht neu trainiert werden. Ändern sich Ihre Dokumente, aktualisieren Sie einfach die Wissensbasis.
Wie findet das System die richtigen Stellen?
Die Dokumente werden vorab in kurze Abschnitte zerlegt. Für jeden Abschnitt berechnet ein Embedding-Modell einen Zahlenvektor, der seine Bedeutung abbildet. Diese Vektoren landen in einer Vektordatenbank. Bei einer Frage wird ebenfalls ein Vektor berechnet und mit den gespeicherten verglichen. So findet das System Abschnitte mit ähnlicher Bedeutung, auch wenn andere Wörter verwendet werden.
Gute Systeme kombinieren diese semantische Suche mit einer klassischen Stichwortsuche. Das hilft bei Artikelnummern, Namen und Fachbegriffen.
Typische Einsatzfälle für RAG-Chatbots
- Interner Wissensassistent: Antworten zu Richtlinien, Prozessen und Handbüchern.
- Kundenservice: Ein Chatbot beantwortet Fragen zu Produkten auf Basis der Dokumentation.
- Vertrieb und Technik: Schneller Zugriff auf Datenblätter, Angebote und Projektberichte.
Was ein gutes RAG-System braucht
Saubere Daten. Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten. Legen Sie fest, welche Quellen gelten.
Durchdachte Aufbereitung. Wie Dokumente zerlegt werden, entscheidet über die Qualität. Tabellen, Scans und PDFs mit komplexem Layout brauchen besondere Aufmerksamkeit.
Berechtigungen. Der Chatbot darf nur Inhalte verwenden, die die fragende Person auch sehen darf.
Messbare Qualität. Ein Satz typischer Testfragen mit erwarteten Antworten zeigt, ob Änderungen das System verbessern oder verschlechtern.
Grenzen
RAG reduziert erfundene Antworten deutlich, verhindert sie aber nicht vollständig. Wichtige Antworten sollten deshalb mit Quellenangaben ausgegeben und im Zweifel geprüft werden. Fragen, die eine Auswertung über viele Dokumente hinweg verlangen, etwa „Wie haben sich unsere Umsätze entwickelt?“, löst ein reines RAG-System schlecht. Dafür eignen sich KI-Agenten, die gezielt auf Datenbanken zugreifen.
Unterstützung durch DFT IT
Wir entwickeln RAG-Systeme und Chatbots, die DSGVO-konform mit Ihren Daten arbeiten. Mehr dazu auf unserer Seite KI-Entwicklung. Wie Sie einen RAG-Chatbot mit einer eigenen KI-Plattform kombinieren, zeigt unser Beitrag zu Open WebUI im Unternehmen. Aktuelle Kurse finden Sie in unseren KI-Schulungen. Sprechen Sie uns an, wenn Sie einen Anwendungsfall prüfen möchten.