డేటాసెట్లు మరియు డేటా - AI యొక్క ఇంధనం
లెవల్ 2కి స్వాగతం! 👋
AI Seeds లో మీరు నేర్చుకున్నారు AI ఉదాహరణల నుండి నేర్చుకుంటుందని - పిల్లలు బొమ్మల పుస్తకాల నుండి జంతువులను గుర్తించడం నేర్చుకున్నట్లే. కానీ ఆ ఉదాహరణలు ఎక్కడ నుండి వస్తాయి?
సమాధానం డేటా - మరియు ఇది AI లో అత్యంత ముఖ్యమైన అంశం. చెడ్డ డేటా = చెడ్డ AI. మంచి డేటా = మంచి AI.
డేటా అంటే ఏమిటి? 🤔
డేటా అంటే నమోదు చేయబడిన సమాచారం. ప్రతి డిజిటల్ చర్య డేటా సృష్టిస్తుంది:
- 📸 ఫోటో తీయడం → ఇమేజ్ డేటా
- 💬 మెసేజ్ పంపడం → పాఠ్యం డేటా
- 🎵 పాట వినడం → వినే చరిత్ర
- 🛒 ఆన్‌లైన్‌లో కొనడం → లావాదేవీ డేటా
- 📍 Google మ్యాప్‌లు తెరవడం → లొకేషన్ డేటా
AI లో మనం ఈ సమాచారాన్ని సేకరించి, క్రమబద్ధం చేసి, మెషీన్లకు నేర్పించడానికి ఉపయోగిస్తాం.
స్ట్రక్చర్డ్ vs అన్‌స్ట్రక్చర్డ్ డేటా
📋 స్ట్రక్చర్డ్ డేటా
వరుసలు మరియు నిలువు వరుసలలో సరిపోయే డేటా - స్ప్రెడ్‌షీట్ లాగా.
| పేరు | వయస్సు | నగరం | ఇష్టమైన రంగు | |------|--------|------|-------------| | ఆయిషా | 14 | లండన్ | నీలం | | రవి | 16 | హైదరాబాద్ | ఆకుపచ్చ | | ఎమ్మా | 15 | ఆమ్‌స్టర్‌డామ్ | ఎరుపు |
🖼️ అన్‌స్ట్రక్చర్డ్ డేటా
టేబుల్‌లో సరిపోని డేటా - ఇమేజ్‌లు, వీడియోలు, ఆడియో, ఇ-మెయిల్‌లు, సోషల్ మీడియా పోస్ట్‌లు.
ప్రపంచ డేటాలో 80% కంటే ఎక్కువ అన్‌స్ట్రక్చర్డ్! ఫోటోలు, వీడియోలు మరియు మెసేజ్‌లు స్ప్రెడ్‌షీట్‌ల కంటే చాలా ఎక్కువ. ఆధునిక డీప్ లెర్నింగ్ ఈ అస్తవ్యస్తమైన డేటాను నిర్వహించడానికే రూపొందించబడింది.
ట్రైనింగ్, వాలిడేషన్ మరియు టెస్ట్ డేటా
పరీక్షకు చదివేటప్పుడు, మీరు పుస్తకం మాత్రమే చదవరు - ప్రాక్టీస్ ప్రశ్నలు చేస్తారు, తర్వాత నిజమైన పరీక్ష రాస్తారు. AI కూడా అలాగే చేస్తుంది:
📚 ట్రైనింగ్ డేటా (పాఠ్యపుస్తకం)
అతిపెద్ద భాగం - మొత్తం డేటాలో 70-80%. AI మోడల్ ఇది అధ్యయనం చేసి నమూనాలు నేర్చుకుంటుంది.
📝 వాలిడేషన్ డేటా (ప్రాక్టీస్ ప్రశ్నలు)
సుమారు 10-15%. ట్రైనింగ్ సమయంలో ప్రగతి తనిఖీ చేయడానికి.
🎓 టెస్ట్ డేటా (తుది పరీక్ష)
మిగిలిన 10-15%. ట్రైనింగ్ తర్వాత ఉపయోగించబడుతుంది. మోడల్ ఈ డేటాను ఎప్పుడూ చూడలేదు.
from sklearn.model_selection import train_test_split
# విభజన: 80% ట్రైనింగ్, 20% తాత్కాలిక
train_data, temp_data = train_test_split(all_data, test_size=0.2)
# తాత్కాలిక సెట్ విభజన: సగం వాలిడేషన్, సగం టెస్ట్
val_data, test_data = train_test_split(temp_data, test_size=0.5)
print(f"Training: {len(train_data)}")
print(f"సరైనదిation: {len(val_data)}")
print(f"Test: {len(test_data)}")
మోడల్‌ను అదే డేటాపై ఎందుకు టెస్ట్ చేయలేము? ఎందుకంటే విద్యార్థికి ముందుగానే పరీక్ష ప్రశ్నలు ఇవ్వడం లాంటిది - పూర్తి మార్కులు వస్తాయి కానీ నిజమైన అవగాహన ఉండదు.
చర్చ
సైన్ ఇన్ చేయండి చర్చలో పాల్గొనడానికి