एम्बेडिंग आयाम

आधुनिक मॉडल अलग-अलग एम्बेडिंग आकारों का उपयोग करते हैं:

| मॉडल | एम्बेडिंग आयाम | |-------|---------------------| | Word2Vec | 100–300 | | BERT | 768 | | GPT-3 | 12,288 | | OpenAI text-embedding-3-large | 3,072 |

अधिक आयाम सूक्ष्म भेदों को पकड़ते हैं लेकिन अधिक मेमोरी और कम्प्यूट की आवश्यकता होती है। इसे किसी व्यक्ति का वर्णन करने जैसा सोचें: 3 आयाम (ऊँचाई, वज़न, उम्र) एक मोटा रेखाचित्र देते हैं; 768 आयाम एक विस्तृत चित्र बनाते हैं।

शब्दों से वाक्यों तक

वर्ड एम्बेडिंग्स अलग-अलग शब्दों को दर्शाती हैं, लेकिन अक्सर हमें पूरे वाक्यों या दस्तावेज़ों की तुलना करनी होती है। सेंटेंस एम्बेडिंग्स (Sentence-BERT या OpenAI के एम्बेडिंग API जैसे मॉडलों से) पूरे पैसेज को एक ही वेक्टर में संक्षिप्त करती हैं।

"How do I reset my password?" और "I forgot my login credentials" में बहुत समान सेंटेंस एम्बेडिंग्स होंगी, भले ही उनमें लगभग कोई शब्द साझा न हो। एम्बेडिंग इरादे को पकड़ती है, केवल शब्दावली को नहीं।

समानता मापना - Cosine Similarity

दो एम्बेडिंग्स की तुलना करने के लिए, हम cosine similarity का उपयोग करते हैं - दो वेक्टर के बीच के कोण का कोसाइन। यह −1 (विपरीत) से +1 (समान दिशा) तक होता है।

• "Happy" और "joyful": cosine ≈ 0.85 (बहुत समान)।
• "Happy" और "table": cosine ≈ 0.10 (असंबंधित)।
• "Love" और "hate": cosine ≈ 0.40 हो सकता है (संबंधित लेकिन विपरीत)।

Cosine similarity वेक्टर परिमाण को नज़रअंदाज़ करती है, केवल दिशा पर ध्यान केंद्रित करती है - और अर्थ वहीं रहता है।

वेक्टर डेटाबेस - अर्थ से खोज

एक वेक्टर डेटाबेस लाखों एम्बेडिंग्स स्टोर करता है और सबसे समान एम्बेडिंग्स को बेहद तेज़ी से खोजता है। कीवर्ड मैचिंग ("'machine learning' वाले दस्तावेज़ ढूँढें") के बजाय, आप अर्थ से खोजते हैं ("AI शिक्षा के बारे में दस्तावेज़ ढूँढें")।

लोकप्रिय वेक्टर डेटाबेस में शामिल हैं:

• Pinecone - पूरी तरह प्रबंधित, आसानी से स्केल होता है।
• Weaviate - ओपन-सोर्स, हाइब्रिड सर्च (वेक्टर + कीवर्ड) के साथ।
• ChromaDB - हल्का, प्रोटोटाइपिंग के लिए बढ़िया।
• pgvector - PostgreSQL में वेक्टर सर्च जोड़ता है।

ये डेटाबेस HNSW (Hierarchical Navigable Small World) जैसे एल्गोरिदम का उपयोग करके अरबों वेक्टर को मिलीसेकंड में खोजते हैं।

RAG - Retrieval-Augmented Generation

RAG आधुनिक AI में सबसे महत्वपूर्ण पैटर्न में से एक है। यह वेक्टर सर्च को भाषा मॉडलों के साथ जोड़ता है:

1. अपने दस्तावेज़ों को एम्बेड करें और वेक्टर डेटाबेस में स्टोर करें।
2. जब कोई उपयोगकर्ता प्रश्न पूछे, क्वेरी को एम्बेड करें।
3. वेक्टर सर्च के माध्यम से सबसे समान दस्तावेज़ खंड प्राप्त करें।
4. उन खंडों को भाषा मॉडल को संदर्भ के रूप में दें।
5. मॉडल आपके डेटा पर आधारित उत्तर उत्पन्न करता है।

RAG भाषा मॉडलों को आपके विशिष्ट डेटा - कंपनी के दस्तावेज़, उत्पाद कैटलॉग, शोध पत्र - के बारे में सवालों के जवाब देने देता है बिना रीट्रेनिंग के। यह हैलुसिनेशन को काफ़ी कम करता है क्योंकि मॉडल के पास संदर्भ के लिए वास्तविक स्रोत होते हैं।

व्यावहारिक अनुप्रयोग

एम्बेडिंग्स अनगिनत वास्तविक-दुनिया की प्रणालियों को शक्ति प्रदान करती हैं:

• सिमैंटिक सर्च - सटीक शब्दावली की परवाह किए बिना प्रासंगिक परिणाम ढूँढें।
• रिकमेंडेशन - "जिन उपयोगकर्ताओं को यह पसंद आया उन्हें यह भी पसंद आया..." एम्बेडिंग समानता के माध्यम से।
• क्लस्टरिंग - समान सपोर्ट टिकट, समीक्षाएँ, या दस्तावेज़ों को स्वचालित रूप से समूहित करें।
• एनोमली डिटेक्शन - किसी भी क्लस्टर से दूर रहने वाले आउटलायर्स को पहचानें।
• डुप्लिकेट डिटेक्शन - बड़े कॉर्पस में लगभग समान कंटेंट खोजें।

मुख्य सारांश

• एम्बेडिंग्स सघन वेक्टर प्रतिनिधित्व हैं जहाँ अर्थ ज्यॉमेट्री बन जाता है।
• समान अवधारणाएँ एक साथ क्लस्टर होती हैं; संबंध दिशाओं के रूप में दिखते हैं।
• Cosine similarity मापती है कि दो अर्थ कितने करीब हैं।
• वेक्टर डेटाबेस विशाल पैमाने पर अर्थ के आधार पर खोज संभव बनाते हैं।
• RAG वेक्टर सर्च को भाषा मॉडलों के साथ जोड़कर आपके अपने डेटा से सवालों के जवाब देता है।

📚 आगे पढ़ें

• Jay Alammar - The Illustrated Word2Vec - वर्ड एम्बेडिंग्स कैसे काम करती हैं, इसकी दृश्य, सहज व्याख्या
• Pinecone Learning Centre - What Are Embeddings? - एम्बेडिंग्स और वेक्टर सर्च की व्यावहारिक गाइड
• OpenAI Embeddings Guide - OpenAI API के साथ एम्बेडिंग्स कैसे बनाएँ और उपयोग करें