RAG

RAG dopĺňa jazykový model o krok vyhľadávania, ktorý pred odpoveďou nájde vhodné pasáže vo vlastnej zbierke dokumentov firmy. Tieto pasáže sa spolu s otázkou odovzdajú modelu, takže odpoveď stojí na konkrétnych, overiteľných zdrojoch a nie len na tom, čo sa model naučil počas trénovania vo všeobecnosti. Dôvod je jednoduchý: trénovacie znalosti modelu sú časovo obmedzené a všeobecné, zatiaľ čo firemné podklady musia byť aktuálne a konkrétne.

V praxi požiadavka najprv prejde vyhľadávaním v indexovanej zbierke dokumentov, napríklad manuáloch, zmluvách alebo internej wiki, ešte predtým, než jazykový model niečo sformuluje. Nájdené úseky sa často zobrazia ako odkaz na zdroj pod odpoveďou, takže zostáva jasné, odkiaľ tvrdenie pochádza. Keď sa dokument zmení, pri ďalšom vyhľadaní sa automaticky zmení aj možná odpoveď, bez nutnosti model znova trénovať.

Hraničný prípad: RAG výrazne znižuje riziko vymyslených odpovedí, ale úplne ho neodstraňuje. Ak sa hľadaná informácia v žiadnom indexovanom dokumente nenachádza, alebo vyhľadávanie zlyhá, model môže aj tak sformulovať niečo, čo znie vierohodne, no nie je podložené zdrojom. Kvalita odpovede z RAG je preto vždy len taká dobrá, ako kvalita a úplnosť podkladových dokumentov.