एपॉक्स: डेटा से कितनी बार गुज़रना है?

पूरे ट्रेनिंग डेटासेट से एक बार पूरा गुज़रना एक एपॉक कहलाता है। ट्रेनिंग में आमतौर पर कई एपॉक्स लगते हैं - मॉडल एक ही डेटा को कई बार देखता है, हर बार थोड़ा बेहतर होता है।

• एपॉक 1: मॉडल बहुत गलतियाँ करता है; लॉस अधिक है।
• एपॉक 10: मॉडल में काफ़ी सुधार हुआ है; लॉस कम हो रहा है।
• एपॉक 50: सुधार धीमे हो जाते हैं; मॉडल अपने सर्वोत्तम के करीब है।
• एपॉक 200: मॉडल रटना शुरू कर सकता है - जो हमें अगले विषय पर ले जाता है।

ओवरफिटिंग: रट्टा मारने वाला छात्र

ओवरफिटिंग AI ट्रेनिंग में सबसे आम समस्याओं में से एक है। यह तब होती है जब मॉडल ट्रेनिंग डेटा को बहुत अच्छी तरह सीख लेता है - इसके शोर और विचित्रताओं सहित - और नए, अनदेखे डेटा पर खराब प्रदर्शन करता है।

कल्पना करें एक छात्र जो हर पुराने परीक्षा पत्र को शब्दशः रट लेता है। वे पुराने पत्रों पर पूर्ण अंक प्राप्त करते हैं लेकिन जब प्रश्न थोड़े भी बदलते हैं तो संघर्ष करते हैं। छात्र ने विषय नहीं सीखा - उसने जवाब रट लिए।

ओवरफिटिंग के संकेत:

• ट्रेनिंग एक्यूरेसी बहुत अधिक है (जैसे, 99%)।
• नए डेटा पर प्रदर्शन बहुत खराब है (जैसे, 75%)।
• मॉडल ने अनिवार्य रूप से ट्रेनिंग उदाहरणों को रट लिया है।

अंडरफिटिंग: वह छात्र जो पढ़ता नहीं

विपरीत समस्या है अंडरफिटिंग। यह तब होती है जब मॉडल ने डेटा से पर्याप्त नहीं सीखा। यह ट्रेनिंग डेटा और नए डेटा दोनों पर खराब प्रदर्शन करता है।

अंडरफिटिंग के कारणों में शामिल हैं:

• समस्या की जटिलता के लिए मॉडल बहुत सरल है।
• ट्रेनिंग बहुत जल्दी रुक गई (पर्याप्त एपॉक्स नहीं)।
• डेटा में फ़ीचर्स पर्याप्त जानकारीपूर्ण नहीं हैं।

अगर ओवरफिटिंग पुराने पत्र रटने जैसा है, तो अंडरफिटिंग किताब शायद ही खोले हुए परीक्षा में जाने जैसा है।

वैलिडेशन और टेस्ट सेट

ओवरफिटिंग और अंडरफिटिंग का पता लगाने के लिए, हम अपना डेटा तीन भागों में विभाजित करते हैं:

| सेट | उद्देश्य | कब उपयोग होता है | |-----|---------|-----------| | ट्रेनिंग सेट | मॉडल इस डेटा से सीखता है | ट्रेनिंग के दौरान | | वैलिडेशन सेट | प्रगति जाँचने और सेटिंग्स ट्यून करने के लिए | ट्रेनिंग के दौरान | | टेस्ट सेट | पूरी तरह अनदेखे डेटा पर अंतिम मूल्यांकन | ट्रेनिंग के बाद |

एक सामान्य विभाजन 70% ट्रेनिंग, 15% वैलिडेशन, और 15% टेस्ट है। मॉडल बिल्कुल अंत तक टेस्ट सेट कभी नहीं देखता - यही अंतिम परीक्षा है।

ट्रेनिंग कब रोकनी है

कब रोकना है यह जानना बहुत ज़रूरी है। बहुत कम ट्रेन करें तो मॉडल अंडरफिट करता है। बहुत ज़्यादा ट्रेन करें तो ओवरफिट करता है। स्वीट स्पॉट वहाँ है जहाँ वैलिडेशन लॉस में सुधार रुक जाता है।

अर्ली स्टॉपिंग नामक एक तकनीक इसे स्वचालित करती है:

1. हर एपॉक के बाद वैलिडेशन लॉस की निगरानी करें।
2. अगर एक निश्चित संख्या में एपॉक्स (patience कहलाता है) तक इसमें सुधार नहीं हुआ, तो ट्रेनिंग रोक दें।
3. सबसे अच्छे एपॉक के वेट्स पर वापस जाएँ।

यह मॉडल को उपयोगी सीखने के बिंदु से आगे जाकर रटने में जाने से रोकता है।

मुख्य सारांश

• ट्रेनिंग लूप दोहराता है: प्रेडिक्ट → तुलना → एडजस्ट → दोहराओ।
• लॉस फंक्शन मापता है कि प्रेडिक्शन सत्य से कितनी दूर हैं।
• एक एपॉक ट्रेनिंग डेटा से एक पूरा गुज़रना है।
• ओवरफिटिंग मतलब डेटा रटना; अंडरफिटिंग मतलब पर्याप्त न सीखना।
• डेटा को ट्रेनिंग, वैलिडेशन, और टेस्ट सेट में विभाजित किया जाता है।
• अर्ली स्टॉपिंग ट्रेनिंग को बहुत आगे जाने से रोकती है।

अंतिम पाठ में, हम AI के नैतिक आयामों की खोज करेंगे - पूर्वाग्रह, निष्पक्षता, गोपनीयता, और ज़िम्मेदार AI कैसा दिखता है।