टोकनाइज़ेशन
टोकनाइज़ेशन - AI टेक्स्ट कैसे पढ़ता है
न्यूरल नेटवर्क संख्याओं के साथ काम करते हैं। वे "hello" शब्द को उस तरह नहीं पढ़ सकते जैसे आप पढ़ते हैं। किसी भी भाषा मॉडल द्वारा टेक्स्ट को प्रोसेस करने से पहले, इसे टोकन नामक छोटे संख्यात्मक टुकड़ों में तोड़ना होता है। यह देखने में सरल लगने वाला कदम AI भाषा को कैसे समझता - और गलत समझता - है, इसके लिए गहरे परिणाम रखता है।
AI सीधे कैरेक्टर्स क्यों नहीं पढ़ सकता?
सबसे सरल तरीका: हर कैरेक्टर को एक टोकन मानें। "Hello" बन जाता है ['H', 'e', 'l', 'l', 'o'] - पाँच टोकन।
समस्या? शब्द बेहद लंबी सीक्वेंस बन जाते हैं। 500 शब्दों का एक निबंध 2,500+ कैरेक्टर टोकन बन सकता है। चूँकि Transformer मॉडल सीक्वेंस लंबाई के साथ द्विघात रूप से स्केल करते हैं, यह कम्प्यूटेशनल रूप से बहुत भारी है। इससे भी बुरा, अकेले कैरेक्टर्स लगभग कोई अर्थ नहीं रखते - मॉडल को सीखना होगा कि 'c', 'a', 't' मिलकर एक प्यारे जानवर का मतलब रखते हैं।
शब्द-स्तरीय टोकनाइज़ेशन
दूसरी चरम सीमा: हर शब्द एक टोकन। "The cat sat" बन जाता है ['The', 'cat', 'sat'] - संक्षिप्त और अर्थपूर्ण।
लेकिन इससे एक अलग समस्या बनती है: शब्दकोश विस्फोट। अकेली अंग्रेज़ी में सैकड़ों हज़ारों शब्द हैं। गलत वर्तनी, तकनीकी शब्दावली और कोड जोड़ें, तो शब्दकोश असंभालनीय हो जाता है। शब्दकोश में न मिलने वाला कोई भी शब्द अज्ञात [UNK] टोकन बन जाता है - समझ के लिए एक बंद रास्ता।
अगर शब्द-स्तरीय टोकन उपयोग करने वाला कोई मॉडल पहली बार "ChatGPT" का सामना करता है और यह शब्दकोश में नहीं है, तो यह [UNK] बन जाता है। यह नई तकनीक पर चर्चा करने की मॉडल की क्षमता को कैसे प्रभावित कर सकता है?
स्वीट स्पॉट - सबवर्ड टोकनाइज़ेशन
आधुनिक भाषा मॉडल सबवर्ड टोकनाइज़ेशन का उपयोग करते हैं, जो कैरेक्टर्स और शब्दों के बीच में बैठता है। आम शब्द पूरे रहते हैं ("the", "and"), जबकि दुर्लभ शब्द अर्थपूर्ण टुकड़ों में विभाजित होते हैं ("un" + "believ" + "able")।
इससे हमें एक प्रबंधनीय शब्दकोश (आमतौर पर 32,000–100,000 टोकन) मिलता है जबकि किसी भी टेक्स्ट को संभालने की क्षमता बनी रहती है - यहाँ तक कि वे शब्द भी जो मॉडल ने पहले कभी नहीं देखे।
Byte Pair Encoding (BPE) - कदम दर कदम
BPE वह एल्गोरिदम है जो GPT मॉडलों के पीछे है। यह शब्दकोश कैसे बनाता है:
Discussion
Sign in to join the discussion