Kontextové okno
Známe aj ako: Context window
Kontextové okno je množstvo textu, ktoré AI model dokáže naraz zohľadniť pri jednej požiadavke.
Jazykový model nepracuje s neobmedzenou pamäťou, ale s pevne daným rozsahom textu, ktorý dokáže pri jednej požiadavke naraz spracovať, teda s kontextovým oknom. Všetko, čo sa doň zmestí, či už doterajší priebeh konverzácie, vložený dokument alebo samotná otázka, vstupuje do odpovede. Čo sa nezmestí, model pri tejto požiadavke jednoducho nepozná.
V praxi sa kontextové okno prejavuje v tom, koľko textu možno vložiť do chatu skôr, než model začne ignorovať alebo zabúdať skoršie časti konverzácie, alebo či sa dlhší dokument vôbec dá spracovať naraz. Modely sa v tejto veľkosti výrazne líšia.
Hraničný prípad je predpoklad, že väčšie kontextové okno automaticky znamená lepšie odpovede. Aj v rámci veľkého okna môže model prehliadnuť alebo podceniť detaily uprostred dlhého textu, a pre stabilný, rastúci súbor dokumentov je vyhľadateľný RAG systém spravidla praktickejší než opakovane vkladať všetko do kontextového okna pri každej požiadavke.
Čo to znamená v praxi
Pre prevádzku je kontextové okno dôležité pri posudzovaní, či chat nástroj dokáže spracovať celú zmluvu alebo dlhší zápis naraz, alebo či treba text najprv rozdeliť. Pri väčších, trvalých súboroch dokumentov je vo všeobecnosti praktickejšie napojenie cez RAG než snaha o čo najväčšie kontextové okno.
Máte to u seba vyriešené poriadne?
Pozrieme sa, ako to u vás naozaj vyzerá — a úprimne povieme, či treba niečo robiť.
Súvisiace pojmy
Všetky pojmyChýba tu pojem z vašej ponuky?
Pošlite nám pasáž, ktorej nerozumiete. Vysvetlíme ju — bez toho, aby z toho musela byť hneď zákazka.