1. ప్రారంభం వ్యక్తిగత అక్షరాలతో: {'h', 'e', 'l', 'o', 'w', 'r', 'd', ' '}.
2. ట్రైనింగ్ టెక్స్ట్‌లో ఏ ప్రక్కనే ఉన్న టోకన్ జతలు ఎక్కువగా కనిపిస్తాయో లెక్కించండి.
3. అత్యంత తరచుగా కనిపించే జతను కొత్త టోకన్‌గా మెర్జ్ చేయండి. 'l' + 'o' ఎక్కువగా కనిపిస్తే, 'lo' సృష్టించండి.
4. కోరుకున్న వొకాబ్యులరీ సైజ్ వచ్చే వరకు 2–3 దశలను పునరావృతం చేయండి.

"low lower lowest" టెక్స్ట్‌తో వర్క్డ్ ఉదాహరణ:

| దశ | అత్యంత తరచు జత | కొత్త టోకన్ | వొకాబ్యులరీ పెరుగుతుంది | |------|-------------------|-----------|-----------------| | 1 | l + o | lo | ...lo... | | 2 | lo + w | low | ...low... | | 3 | e + r | er | ...er... | | 4 | low + e | lowe | ...lowe... |

తగినంత మెర్జ్‌ల తర్వాత, సాధారణ పదాలు మరియు పద భాగాలు డేటా నుండి సహజంగా ఉద్భవిస్తాయి.

ఇతర టోకనైజేషన్ పద్ధతులు

WordPiece

BERT మరియు సంబంధిత మోడల్‌లు ఉపయోగిస్తాయి. BPE కి సమానంగా ఉంటుంది, కానీ అత్యంత తరచు జతను మెర్జ్ చేయడానికి బదులుగా, ట్రైనింగ్ డేటా యొక్క లైక్లీహుడ్ ను గరిష్టం చేసే జతను మెర్జ్ చేస్తుంది. సబ్‌వర్డ్ ముక్కలకు ## ప్రిఫిక్స్ ఉంటుంది (ఉదా., "playing" → ['play', '##ing']).

SentencePiece

ఇన్‌పుట్‌ను ముడి బైట్ స్ట్రీమ్‌గా చూస్తుంది - స్పేస్‌ల ద్వారా ప్రీ-టోకనైజేషన్ లేదు. పదాల మధ్య స్పేస్‌లు ఉపయోగించని జపనీస్ మరియు చైనీస్ వంటి భాషలకు ఇది కీలకం. GPT-4 మరియు LLaMA SentencePiece-శైలి విధానాలను ఉపయోగిస్తాయి.

GPT-4 టెక్స్ట్‌ను ఎలా టోకనైజ్ చేస్తుంది

GPT-4 దాదాపు 100,000 టోకన్‌ల వొకాబ్యులరీతో cl100k_base అనే BPE వేరియంట్ ఉపయోగిస్తుంది. కొన్ని ఆశ్చర్యకరమైన ప్రవర్తనలు:

• "Hello world" → 2 టోకన్‌లు (Hello, world - స్పేస్ జోడించబడి ఉందని గమనించండి).
• "indivisibility" → 4 టోకన్‌లు (ind, iv, isibility - ఇది అరుదైన పదాలను విభజిస్తుంది).
• ఒకే ఎమోజీ 🎉 → సాధారణంగా 1–3 టోకన్‌లు.
• Python కోడ్ def hello(): → ప్రతి కీవర్డ్ మరియు సింబల్ సాధారణంగా దాని స్వంత టోకన్.

వొకాబ్యులరీ సైజ్ ట్రేడ్-ఆఫ్

| వొకాబ్యులరీ సైజ్ | ప్రయోజనాలు | అసౌకర్యాలు | |----------------|------|------| | చిన్న (8k) | చిన్న మోడల్, తక్కువ ఎంబెడ్డింగ్‌లు | పొడవైన సీక్వెన్స్‌లు, నెమ్మదైన ప్రాసెసింగ్ | | పెద్ద (100k+) | చిన్న సీక్వెన్స్‌లు, సమృద్ధ టోకన్‌లు | పెద్ద ఎంబెడ్డింగ్ టేబుల్, ఎక్కువ మెమరీ |

సరైన సమతుల్యం కనుగొనడం అనేది మోడల్ వేగం, మెమరీ, మరియు సామర్థ్యాన్ని ప్రభావితం చేసే ఇంజనీరింగ్ నిర్ణయం.

బహుభాషా సవాళ్ళు

ప్రధానంగా ఇంగ్లీష్ టెక్స్ట్‌పై ట్రైన్ చేయబడిన టోకనైజర్‌లు పక్షపాతమైనవి. హిందీ లేదా అరబిక్‌లో అదే వాక్యానికి ఇంగ్లీష్ సమానమైన దాని కంటే 3–5× ఎక్కువ టోకన్‌లు అవసరం కావచ్చు, ఎందుకంటే ఆ లిపులు ట్రైనింగ్ డేటాలో తక్కువగా ప్రాతినిధ్యం వహించాయి. దీని అర్థం:

• ఇంగ్లీష్ కాని వినియోగదారులు కాంటెక్స్ట్ పరిమితులను ముందుగా చేరుకుంటారు.
• ఇంగ్లీష్ కాని టెక్స్ట్ కోసం ప్రతి పదానికి API ఖర్చులు ఎక్కువ.
• ఇంగ్లీష్ కాని రీజనింగ్ కోసం మోడల్‌కు తక్కువ "ఆలోచన స్థలం" ఉంటుంది.

టోకన్ కౌంటింగ్ మరియు ఖర్చు ప్రభావాలు

GPT-4, Claude, లేదా Gemini కి ప్రతి API కాల్ టోకన్‌కు బిల్ చేయబడుతుంది. టోకనైజేషన్‌ను అర్థం చేసుకోవడం మీకు సహాయపడుతుంది:

• పెద్ద జాబ్‌లు నడపడానికి ముందు ఖర్చులను అంచనా వేయండి.
• ప్రాంప్ట్‌లను ఆప్టిమైజ్ చేయండి - అదే అర్థంతో చిన్న ప్రాంప్ట్‌లు డబ్బు ఆదా చేస్తాయి.
• కాంటెక్స్ట్ విండోలను గౌరవించండి - GPT-4 Turbo 128k టోకన్‌లను అంగీకరిస్తుంది; దీన్ని మించితే మీ ఇన్‌పుట్ నిశ్శబ్దంగా కత్తిరించబడుతుంది.

ఇంగ్లీష్ కోసం ఒక సమీప నియమం: 1 టోకన్ ≈ ¾ పదం, లేదా దాదాపు 4 అక్షరాలు.

ముఖ్యమైన అంశాలు

• టోకనైజేషన్ ముడి టెక్స్ట్‌ను మోడల్‌లు ప్రాసెస్ చేయగల సంఖ్యాత్మక టోకన్‌లుగా మారుస్తుంది.
• BPE అత్యంత తరచు అక్షర జతలను పునరావృతంగా మెర్జ్ చేయడం ద్వారా వొకాబ్యులరీని నిర్మిస్తుంది.
• సబ్‌వర్డ్ టోకనైజేషన్ ఏ టెక్స్ట్‌నైనా హ్యాండిల్ చేయగల సామర్థ్యంతో వొకాబ్యులరీ సైజ్‌ను సమతుల్యం చేస్తుంది.
• టోకనైజర్ పక్షపాతం ఖర్చు మరియు సామర్థ్యంలో ఇంగ్లీష్ కాని భాషలకు నష్టం కలిగిస్తుంది.
• టోకన్‌లను అర్థం చేసుకోవడం ఖర్చులను అంచనా వేయడానికి మరియు ప్రాంప్ట్‌లను ఆప్టిమైజ్ చేయడానికి సహాయపడుతుంది.

📚 మరింత చదవండి

• Andrej Karpathy - nn-zero-to-hero (Tokenizer lecture) - Karpathy తో కలిసి మొదటి నుండి BPE టోకనైజర్ నిర్మించండి
• OpenAI Tokenizer Tool - GPT మోడల్‌లు మీ టెక్స్ట్‌ను ఎలా టోకనైజ్ చేస్తాయో చూడడానికి ఇంటరాక్టివ్ టూల్
• Hugging Face - Summary of Tokenizers - BPE, WordPiece, మరియు SentencePiece యొక్క స్పష్టమైన పోలిక