Zo werkt een embedding
Een gewone zoekfunctie vergelijkt letters. Zoek je op factuur, dan vindt hij een tekst waarin alleen het woord rekening staat meestal niet. Een embedding lost dat op. Een speciaal AI-model zet een stuk tekst om in een lange reeks getallen. Teksten met een vergelijkbare betekenis krijgen getallen die dicht bij elkaar liggen.
Zo kan software meten hoe sterk twee teksten op elkaar lijken, ook als ze andere woorden gebruiken. OpenAI legt dit uit in zijn handleiding over embeddings. Andere makers bieden vergelijkbare modellen aan.
Waarvoor je embeddings gebruikt
De bekendste toepassing is zoeken op betekenis. Je knipt je documenten in kleine delen en maakt van elk deel een embedding. Die bewaar je in een vectordatabase. Stelt iemand een vraag, dan krijgt die vraag ook een embedding. De database geeft de delen terug die er het meest op lijken. Dat is de zoekstap in RAG.
Je gebruikt embeddings ook om teksten te groeperen, bijvoorbeeld binnenkomende mails per onderwerp, of om dubbele klantvragen te vinden.
Let op: een embedding zegt iets over betekenis. Of een tekst klopt of actueel is, zegt hij niet. Houd je documenten daarom bij en haal oude versies weg.
BegripEen vectordatabase is een database die embeddings opslaat, zodat je snel teksten vindt met een vergelijkbare betekenis.BegripRAG (retrieval-augmented generation) is een techniek waarbij de AI eerst in je eigen documenten zoekt en het antwoord daarop baseert.