Openbare lespreview
Leer hoe taalmodellen tekst opdelen in tokens met BPE en andere algoritmen, en waarom tokenisatie alles beïnvloedt, van kosten tot mogelijkheden.
Aan het einde van deze les begrijp je:
Neurale netwerken werken met getallen. Ze kunnen het woord "hallo" niet lezen zoals jij dat doet. Voordat een taalmodel tekst kan verwerken, moet deze worden opgesplitst in kleine numerieke eenheden die tokens worden genoemd. Deze ogenschijnlijk eenvoudige stap heeft diepgaande gevolgen voor hoe AI taal begrijpt - en misverstaat.
Tokenisatie - Hoe AI Tekst Leest is onderdeel van AI Sprouts
Tokenisatie - Hoe AI Tekst Leest is onderdeel van AI Sprouts. Upgrade om de volledige les, quizzen, voortgangsregistratie en elke academie te ontgrendelen.
7 dagen gratis. Altijd opzegbaar, zonder vragen.