Wat er in het contextvenster zit
Het contextvenster is het werkgeheugen van een taalmodel. Er zit alles in wat het model bij één antwoord kan gebruiken: de vaste instructie, het gesprek tot nu toe, documenten die je meestuurt en het antwoord zelf. Wat het model tijdens de training leerde, valt erbuiten. Anthropic legt dit uit in zijn handleiding over het contextvenster.
De grootte wordt gemeten in tokens, stukjes tekst van vaak een deel van een woord. Hoe groot het venster is, verschilt per model. Een groter venster laat het model langere documenten en gesprekken meenemen.
Wat er gebeurt als het contextvenster vol raakt
Raakt het venster vol, dan moet er iets uit. Sommige chatdiensten laten dan het begin van een lang gesprek vallen. Het model weet dan niet meer wat je in het begin zei.
Meer tekst in het venster is ook lang niet altijd beter. Anthropic schrijft dat de nauwkeurigheid afneemt naarmate er meer tokens in staan. Geef het model daarom alleen de stukken die voor de vraag nodig zijn. Bij veel documenten zoekt RAG eerst de juiste stukken op, zodat alleen die in het venster komen.
Start bij een nieuwe taak een nieuw gesprek. Dan begint het model met een leeg venster en de juiste instructie.
BegripEen taalmodel is een AI-model dat tekst leest en schrijft.