Hoe een taalmodel tekst in tokens knipt
Een taalmodel knipt tekst eerst in tokens voordat het ermee rekent. Een token is een heel woord, een deel van een woord, een leesteken of soms één teken. Een kort, veelvoorkomend woord is vaak één token. Een lang of zeldzaam woord wordt in stukken geknipt.
Hoeveel tekens een token is, verschilt per model en per taal. Anthropic schrijft in zijn woordenlijst over AI-begrippen dat je voor een precieze telling de telfunctie van het model zelf gebruikt. Bij het werken met een chatdienst zie je tokens meestal niet. Ze tellen pas zichtbaar mee als je een model via een API gebruikt.
Waarom tokens je contextvenster en kosten bepalen
Het contextvenster van een model wordt gemeten in tokens. Alles telt mee: de systeemprompt, het gesprek, de documenten die je meestuurt en het antwoord. Een lang document neemt dus veel ruimte in.
Ook de kosten van een taalmodel via een API worden meestal per token berekend, vaak apart voor de tekst die je stuurt en de tekst die terugkomt. Een workflow die bij elke mail het hele archief meestuurt, wordt daardoor duur. Stuur alleen mee wat nodig is, en kijk bij een nieuwe workflow vooraf hoeveel tokens een gemiddelde taak kost.
BegripEen taalmodel is een AI-model dat tekst leest en schrijft.BegripEen API is een vaste manier waarop twee programma's gegevens uitwisselen, bijvoorbeeld je boekhoudpakket en een workflow.BegripHet contextvenster is de hoeveelheid tekst die een taalmodel in één keer kan meenemen.BegripEen systeemprompt is de vaste instructie die een AI-toepassing bij elke vraag meestuurt, bijvoorbeeld over toon, taken en grenzen.BegripEen workflow is een vaste reeks stappen die automatisch loopt, met AI op de plek waar gelezen of geschreven moet worden.