लॉस फंक्शन और ऑप्टिमाइज़र
लॉस फंक्शन और ऑप्टिमाइज़र
बैकप्रोपेगेशन हमें ग्रेडिएंट्स देता है - लेकिन किसके ग्रेडिएंट्स? बैकप्रोप चलने से पहले, हमें एक ऐसी संख्या चाहिए जो बताए कि मॉडल कितना गलत है। वह संख्या लॉस फंक्शन से आती है। एक बार ग्रेडिएंट्स मिल जाने पर, एक ऑप्टिमाइज़र तय करता है कि वेट्स को कैसे अपडेट करना है। मिलकर, ये सीखने का लूप बनाते हैं।
लॉस फंक्शन क्या है?
लॉस फंक्शन (जिसे कॉस्ट फंक्शन भी कहते हैं) मॉडल की प्रेडिक्शन और सही उत्तर लेता है, और "गलतता" मापने वाली एक संख्या लौटाता है। ट्रेनिंग का लक्ष्य इस संख्या को न्यूनतम करना है।
इसे गोल्फ के स्कोर की तरह सोचें - कम बेहतर है। 0 का लॉस मतलब एकदम सही प्रेडिक्शन।
रिग्रेशन के लिए लॉस फंक्शन - MSE
जब निरंतर मान (घर की कीमतें, तापमान) की प्रेडिक्शन करनी हो, तो हम Mean Squared Error (MSE) उपयोग करते हैं:
MSE = (1/n) × Σ(predicted - actual)²
स्क्वेयर करना दो काम करता है: यह सभी त्रुटियों को पॉज़िटिव बनाता है, और बड़ी त्रुटियों को अनुपातहीन रूप से दंडित करता है। घर की कीमत में £100k की गलती का स्क्वेयर एरर £10k की गलती से 100× बुरा होता है।
MSE का इतिहास 1795 में Carl Friedrich Gauss तक जाता है - न्यूरल नेटवर्क से दो सदियों से भी पहले। उन्होंने इसका उपयोग क्षुद्रग्रह Ceres की कक्षा को ट्रैक करने के लिए किया था।
क्लासिफिकेशन के लिए लॉस फंक्शन - Cross-Entropy
जब श्रेणियों की प्रेडिक्शन करनी हो (स्पैम या नहीं, बिल्ली बनाम कुत्ता), तो हम cross-entropy लॉस उपयोग करते हैं। यह मापता है कि मॉडल की प्रेडिक्टेड प्रोबेबिलिटीज़ सही लेबल से कितनी दूर हैं।
अगर सही उत्तर "बिल्ली" है और मॉडल 99% बिल्ली कहता है, तो लॉस बहुत कम है। अगर 10% बिल्ली कहता है, तो लॉस बहुत ज़्यादा है। Cross-entropy की एक उपयोगी विशेषता है: जब मॉडल आत्मविश्वास से गलत होता है तो यह अनंत रूप से नाराज़ हो जाता है, गलती सुधारने के लिए एक मज़बूत ग्रेडिएंट बनाता है।
Binary cross-entropy दो-क्लास समस्याओं के लिए है। Categorical cross-entropy प्रोबेबिलिटी डिस्ट्रीब्यूशन की तुलना करके कई क्लासेज़ को संभालता है।
MSE क्लासिफिकेशन कार्यों के लिए खराब विकल्प क्यों है?
Discussion
Sign in to join the discussion