RAG

RAG ergänzt ein Sprachmodell um einen Suchschritt, der vor der Antwort passende Textstellen aus einer eigenen Dokumentensammlung heraussucht. Diese Textstellen werden dem Modell zusammen mit der Frage übergeben, sodass die Antwort sich auf konkrete, geprüfte Quellen stützt statt nur auf das, was das Modell beim Training allgemein gelernt hat. Der Ansatz existiert, weil das Trainingswissen eines Modells zeitlich begrenzt und generisch ist, während Betriebsunterlagen laufend aktuell und spezifisch sein müssen.

In der Praxis läuft eine Anfrage über eine Suche in einer indizierten Dokumentensammlung, zum Beispiel Handbücher, Verträge oder interne Wikis, bevor das Sprachmodell überhaupt formuliert. Die gefundenen Abschnitte erscheinen oft als Quellenangabe unter der Antwort, sodass nachvollziehbar bleibt, woher eine Aussage stammt. Ändert sich ein Dokument, ändert sich beim nächsten Abruf automatisch auch die mögliche Antwort, ohne dass das Modell neu trainiert werden muss.

Ein Grenzfall: RAG verringert das Risiko erfundener Antworten deutlich, schaltet es aber nicht aus. Steht die gesuchte Information in keinem indizierten Dokument oder ist die Suche ungenau, kann das Modell trotzdem etwas formulieren, das plausibel klingt, aber nicht durch eine Quelle gedeckt ist. Die Qualität einer RAG-Antwort ist also nie besser als die Qualität und Vollständigkeit der zugrunde liegenden Dokumente.