Byte Pair Encoding (BPE) - Stap voor Stap

BPE is het algoritme achter GPT-modellen. Zo bouwt het een vocabulaire op:

1. Begin met individuele tekens: {'h', 'e', 'l', 'o', 'w', 'r', 'd', ' '}.
2. Tel welke paren van aangrenzende tokens het vaakst voorkomen in de trainingstekst.
3. Voeg samen het meest frequente paar tot een nieuw token. Als 'l' + 'o' het vaakst voorkomt, maak dan 'lo'.
4. Herhaal stappen 2–3 totdat je de gewenste vocabulairegrootte bereikt.

Uitgewerkt voorbeeld met de tekst "low lower lowest":

| Stap | Meest frequente paar | Nieuw token | Vocabulaire groeit | |------|----------------------|-------------|-------------------| | 1 | l + o | lo | ...lo... | | 2 | lo + w | low | ...low... | | 3 | e + r | er | ...er... | | 4 | low + e | lowe | ...lowe... |

Na genoeg samenvoegingen ontstaan veelvoorkomende woorden en woordfragmenten op natuurlijke wijze uit de data.

Andere Tokenisatiemethoden

WordPiece

Gebruikt door BERT en verwante modellen. Vergelijkbaar met BPE, maar in plaats van het meest frequente paar samen te voegen, wordt het paar samengevoegd dat de aannemelijkheid van de trainingsdata maximaliseert. Subwoordstukken krijgen het voorvoegsel ## (bijv. "playing" → ['play', '##ing']).

SentencePiece

Behandelt de invoer als een ruwe bytestroom - geen pre-tokenisatie door spaties. Dit is cruciaal voor talen zoals Japans en Chinees die geen spaties tussen woorden gebruiken. GPT-4 en LLaMA gebruiken SentencePiece-achtige benaderingen.

Hoe GPT-4 Tekst Tokeniseert

GPT-4 gebruikt een BPE-variant genaamd cl100k_base met ruwweg 100.000 tokens in zijn vocabulaire. Enkele verrassende gedragingen:

• "Hello world" → 2 tokens (Hello, world - let op: de spatie is bijgevoegd).
• "indivisibility" → 4 tokens (ind, iv, isibility - het splitst zeldzame woorden).
• Een enkele emoji 🎉 → vaak 1–3 tokens.
• Python-code def hello(): → elk trefwoord en symbool is doorgaans een eigen token.

De Afweging bij Vocabulairegrootte

| Vocabulairegrootte | Voordelen | Nadelen | |-------------------|-----------|---------| | Klein (8k) | Kleiner model, minder embeddings | Langere reeksen, langzamere verwerking | | Groot (100k+) | Kortere reeksen, rijkere tokens | Grotere embeddingstabel, meer geheugen |

De juiste balans vinden is een technische beslissing die de snelheid, het geheugen en de mogelijkheden van het model beïnvloedt.

Meertalige Uitdagingen

Tokenizers die voornamelijk op Engelse tekst zijn getraind, zijn bevooroordeeld. Dezelfde zin in het Hindi of Arabisch kan 3–5× meer tokens vereisen dan het Engelse equivalent, omdat die schriften ondervertegenwoordigd waren in de trainingsdata. Dit betekent:

• Niet-Engelstalige gebruikers bereiken sneller contextlimieten.
• API-kosten zijn hoger per woord voor niet-Engelse tekst.
• Het model heeft minder "denkruimte" voor niet-Engels redeneren.

Tokens Tellen en Kostenimplicaties

Elke API-aanroep naar GPT-4, Claude of Gemini wordt per token gefactureerd. Het begrijpen van tokenisatie helpt je om:

• Kosten in te schatten voordat je grote taken uitvoert.
• Prompts te optimaliseren - kortere prompts met dezelfde betekenis besparen geld.
• Contextvensters te respecteren - GPT-4 Turbo accepteert 128k tokens; overschrijding hiervan kapt je invoer stilzwijgend af.

Een vuistregel voor Engels: 1 token ≈ ¾ woord, oftewel ongeveer 4 tekens.

Belangrijkste Punten

• Tokenisatie zet ruwe tekst om in numerieke tokens die modellen kunnen verwerken.
• BPE bouwt een vocabulaire op door iteratief de meest frequente tekenparen samen te voegen.
• Subwoord-tokenisatie brengt vocabulairegrootte in balans met het vermogen om elke tekst te verwerken.
• Tokenizer-bias benadeelt niet-Engelse talen in kosten en mogelijkheden.
• Het begrijpen van tokens helpt je kosten in te schatten en prompts te optimaliseren.

📚 Verder Lezen

• Andrej Karpathy - nn-zero-to-hero (Tokenizer lecture) - Bouw een BPE-tokenizer helemaal zelf samen met Karpathy
• OpenAI Tokenizer Tool - Interactieve tool om te zien hoe GPT-modellen jouw tekst tokeniseren
• Hugging Face - Summary of Tokenizers - Duidelijke vergelijking van BPE, WordPiece en SentencePiece