ఎంబెడ్డింగ్లు మరియు వెక్టర్ డేటాబేస్లు
ఎంబెడ్డింగ్లు - AI అర్థాన్ని ఎలా గ్రహిస్తుంది
టోకనైజేషన్ తర్వాత, ప్రతి టోకన్ కేవలం ఒక సంఖ్య - వొకాబ్యులరీలో ఒక ఇండెక్స్. కానీ ఇండెక్స్ 4,821 మోడల్కు అర్థం గురించి ఏమీ చెప్పదు. "king" మరియు "queen" సంబంధం కలిగి ఉన్నాయని, లేదా "bank" అనేది నది ఒడ్డు లేదా ఆర్థిక సంస్థ అని AI కి ఎలా తెలుస్తుంది? సమాధానం ఎంబెడ్డింగ్లు.
One-Hot ఎన్కోడింగ్ సమస్య
నైవ్ విధానం ప్రతి పదాన్ని ఒక 1 మరియు వేలాది 0లతో ఉన్న వెక్టర్గా ప్రాతినిధ్యం చేస్తుంది. "Cat" [0, 0, 1, 0, ..., 0] మరియు "dog" [0, 0, 0, 1, ..., 0] కావచ్చు.
దీనికి రెండు ప్రాణాంతక లోపాలు ఉన్నాయి:
- సారూప్యత లేదు: "Cat" మరియు "dog" ఒకదానికొకటి "cat" మరియు "democracy" ఎంత దూరంలో ఉన్నాయో అంతే దూరంలో ఉంటాయి. ఎన్కోడింగ్ సెమాంటిక్ సమాచారాన్ని ఏమీ క్యాప్చర్ చేయదు.
- భారీ పరిమాణం: 50,000-పద వొకాబ్యులరీతో, ప్రతి పదానికి 50,000-డైమెన్షనల్ వెక్టర్ అవసరం. చాలా అసమర్థం.
వర్డ్ ఎంబెడ్డింగ్లు - జ్యామితిగా అర్థం
ఒక ఎంబెడ్డింగ్ ప్రతి టోకన్ను 256 లేదా 768 డైమెన్షన్ల సాంద్ర వెక్టర్కు మ్యాప్ చేస్తుంది. One-hot వెక్టర్ల మాదిరిగా కాకుండా, ఈ డైమెన్షన్లు ట్రైనింగ్ సమయంలో నేర్చుకోబడతాయి మరియు అర్థాన్ని ఎన్కోడ్ చేస్తాయి.
సారూప్య సందర్భాలలో ఉపయోగించిన పదాలు ఈ స్పేస్లో దగ్గరగా ఉంటాయి. "Puppy" "kitten" దగ్గర ల్యాండ్ అవుతుంది. "London" "Paris" దగ్గర ల్యాండ్ అవుతుంది. స్పేస్ యొక్క జ్యామితి అదే అర్థం.
Word2Vec - King − Man + Woman = Queen
2013 Word2Vec పేపర్ ఏదో అద్భుతమైనదాన్ని చూపించింది. పెద్ద టెక్స్ట్ కార్పస్లపై ట్రైన్ చేయబడినప్పుడు, నేర్చుకున్న వెక్టర్లు అంకగణిత సంబంధాలను ప్రదర్శిస్తాయి:
vector("king") − vector("man") + vector("woman") ≈ vector("queen")
"man" నుండి "woman" వరకు దిశ లింగ భావనను క్యాప్చర్ చేస్తుంది. దాన్ని "king" కి జోడించడం "queen" కి తరలిస్తుంది. ఇది ప్రోగ్రామ్ చేయబడలేదు - ఇది భాషలోని నమూనాల నుండి ఉద్భవిస్తుంది.
Discussion
Sign in to join the discussion