ऐरे और हैश मैप - AI डेटा कैसे स्टोर और एक्सेस करता है
AI में डेटा स्टोरेज क्यों ज़रूरी है
हर AI सिस्टम को डेटा स्टोर और तेज़ी से एक्सेस करना होता है। चाहे एक तस्वीर के pixel मान हों, 50,000 शब्दों की शब्द-संग्रह हो, या लाखों यूज़र की पसंद - सही डेटा संरचना चुनना तय करता है कि AI कितनी तेज़ी से काम करेगा।
दो संरचनाएँ सबसे ज़्यादा इस्तेमाल होते हैं: ऐरे और हैश मैप। इन्हें समझ लिया तो AI पाइपलाइन की नींव पक्की।
ऐरे - क्रम में रखी गई लिस्ट
ऐरे एक नंबर वाली लिस्ट है जहाँ आइटम मेमोरी में एक साथ रखे जाते हैं। हर आइटम का एक इंडेक्स होता है - जो zero से शुरू होता है।
index: 0 1 2 3 4
value: ["cat", "dog", "bird", "fish", "frog"]
चूँकि आइटम साथ-साथ बैठे हैं, किसी भी स्थिति पर सीधे पहुँच सकते हैं। आइटम 3 चाहिए? बस - कोई खोजना नहीं। यही O(1) पहुँच है - 10 आइटम हों या 10 दस लाख, समय बराबर लगता है।
ऐरे कहाँ चमकते हैं
- Feature vectors: एक तस्वीर को 784 संख्याएँ के ऐरे (28×28 pixels) से दिखाते किया जाता है।
- एम्बेडिंग: भाषा मॉडल शब्दों के मतलब सैकड़ों floating-इशारा संख्याएँ के ऐरे में स्टोर करते हैं।
- Batch प्रोसेसिंग: प्रशिक्षण डेटा ऐरे में लोड होता है ताकि GPU हज़ारों examples एक साथ प्रोसेस कर सके।
कमज़ोरी
बीच में आइटम जोड़ना या मिटाना करना महंगा है - बाद के सारे आइटम को शिफ्ट करना पड़ता है। यह O(n) है - जितने ज़्यादा आइटम, उतना ज़्यादा समय।
अगर 10,000 गानों की प्लेलिस्ट में स्थिति 5 पर नया गाना डालना हो, तो स्थिति 5 के बाद के हर गाने को शिफ्ट करना पड़ेगा। कोई स्ट्रीमिंग सेवा इसे बिना धीमा हुए कैसे संभालते करेगी?
हैश मैप - नाम से तुरंत ढूँढो
हैश मैप (जिसे dictionary या hash तालिका भी कहते हैं) डेटा को कुंजी-मान pairs में स्टोर करता है। इंडेक्स संख्या की जगह एक meaningful कुंजी से पहुँच करते हैं।
word_counts = {
"hello": 42,
"world": 37,
"AI": 156
}
"AI" की गिनती चाहिए? hash map एक hash function से key को अंदर ही अंदर index में बदलता है। नतीजा? औसतन lookup - array जैसा, बस संख्या की जगह नाम से।
चर्चा
साइन इन करें चर्चा में शामिल होने के लिए