Halucinácia
Známe aj ako: AI halucinácia
Halucinácia je voľne vymyslená, no presvedčivo sformulovaná odpoveď AI modelu, ktorá sa podáva ako fakt.
Jazykový model vytvára text, ktorý je štatisticky najpravdepodobnejším pokračovaním vstupu, nie text, ktorý je preukázateľne pravdivý. Ak modelu chýba správna informácia, aj tak vytvorí odpoveď, sformulovanú rovnako sebavedomo a plynulo ako správnu, a presne toto voľne vymyslené, no presvedčivo znejúce tvrdenie sa nazýva halucinácia.
V praxi sa to prejaví ako vymyslený odkaz na zdroj, vierohodne znejúci, ale nesprávny odkaz na paragraf, nesprávne číslo v zhrnutí alebo vlastnosť produktu, ktorá v skutočnosti neexistuje. Nápadné je, že tón odpovede nedáva žiadnu indíciu, či je správna, halucinovaná odpoveď znie rovnako sebaisto ako správna.
Rozšírené nedorozumenie je, že novší alebo väčší model halucinácie vylúči. Stávajú sa vzácnejšími, no nezmiznú úplne, a ani RAG nastavenie, ktoré odpovede opiera o vlastné dokumenty, riziko úplne neodstráni, len ho zníži.
Čo to znamená v praxi
Práve preto sa výstupy AI musia vo firemných procesoch overiť skôr, než sa použijú ďalej: AI navrhnutá odpoveď zákazníkovi, faktúra alebo technický údaj nesmie ísť von bez kontroly, pretože nesprávne číslo alebo nesprávny citát znie rovnako presvedčivo ako správny. Kde táto kontrola chýba, dôsledky nakoniec nesie prevádzka, nie model.
Máte to u seba vyriešené poriadne?
Pozrieme sa, ako to u vás naozaj vyzerá — a úprimne povieme, či treba niečo robiť.
Súvisiace pojmy
Všetky pojmyChýba tu pojem z vašej ponuky?
Pošlite nám pasáž, ktorej nerozumiete. Vysvetlíme ju — bez toho, aby z toho musela byť hneď zákazka.