Precision कब सबसे ज़्यादा मायने रखता है: जब false positives महँगे हों। एक स्पैम फ़िल्टर जो महत्वपूर्ण क्लाइंट ईमेल को जंक में भेज दे, गंभीर समस्या है।

Recall - "जो कुछ पॉज़िटिव था, उसमें कितना मैंने पकड़ा?"

Recall = TP ÷ (TP + FN) = 80 ÷ (80 + 20) = 80%

मॉडल ने 100 वास्तविक स्पैम ईमेल में से 80 पकड़े - इसने 80% को recall किया। बाकी 20 false negatives के रूप में निकल गए।

Recall कब सबसे ज़्यादा मायने रखता है: जब पॉज़िटिव केस छूटना खतरनाक हो। कैंसर स्क्रीनिंग में, ट्यूमर का पता न लगना (false negative) जानलेवा हो सकता है।

Precision–Recall ट्रेड-ऑफ

Precision और recall विपरीत दिशाओं में खींचते हैं। स्पैम थ्रेशोल्ड को कड़ा करने से कम वैध ईमेल पकड़ में आती हैं (precision बढ़ता है) लेकिन ज़्यादा स्पैम निकल जाता है (recall घटता है)। इसे ढीला करने पर ज़्यादा स्पैम पकड़ में आता है (recall बढ़ता है) लेकिन ज़्यादा अच्छी ईमेल भी फँस जाती हैं (precision घटता है)।

कोई मुफ़्त भोज नहीं - आपको तय करना होगा कि आपके विशिष्ट उपयोग के लिए कौन सी त्रुटियाँ ज़्यादा महँगी हैं।

F1 स्कोर - हार्मोनिक मीन

जब आपको precision और recall को संतुलित करने वाली एक संख्या चाहिए, तो F1 स्कोर उपयोग करें:

F1 = 2 × (Precision × Recall) ÷ (Precision + Recall)

हमारे स्पैम फ़िल्टर के लिए: F1 = 2 × (0.727 × 0.80) ÷ (0.727 + 0.80) = 0.762 - लगभग 76.2%।

हार्मोनिक मीन चरम असंतुलन को दंडित करता है। अगर precision या recall में से कोई भी बहुत कम है, तो F1 तेज़ी से गिरता है।

ROC वक्र और AUC

ROC वक्र (Receiver Operating Characteristic) हर संभव क्लासिफिकेशन थ्रेशोल्ड पर True Positive Rate को False Positive Rate के विरुद्ध प्लॉट करता है। यह दिखाता है कि मॉडल सभी थ्रेशोल्ड पर, केवल एक पर नहीं, कितनी अच्छी तरह क्लासेज़ को अलग करता है।

AUC (Area Under the Curve) इसे एक संख्या में सारांशित करता है:

• AUC = 1.0 - परफेक्ट सेपरेशन।
• AUC = 0.5 - रैंडम गेसिंग से बेहतर नहीं (डायगोनल लाइन)।
• AUC < 0.5 - रैंडम से भी बुरा (आपके लेबल शायद उलटे हैं!)।

AUC थ्रेशोल्ड-स्वतंत्र है, जो इसे किसी विशिष्ट ऑपरेटिंग पॉइंट तय करने से पहले मॉडलों की तुलना करने के लिए उत्कृष्ट बनाता है।

टेक्स्ट जनरेशन के लिए मेट्रिक्स

क्लासिफिकेशन मेट्रिक्स उन भाषा मॉडलों पर लागू नहीं होती जो टेक्स्ट जनरेट करते हैं। अलग-अलग कार्यों को अलग-अलग माप चाहिए।

BLEU स्कोर

BLEU (Bilingual Evaluation Understudy) मापता है कि जनरेट किया गया अनुवाद संदर्भ अनुवादों से कितना ओवरलैप करता है, मिलान करने वाले n-grams (शब्द अनुक्रम) गिनकर। स्कोर 0 से 1 तक होता है।

BLEU मशीन अनुवाद में व्यापक रूप से उपयोग होता है लेकिन इसकी महत्वपूर्ण सीमाएँ हैं: यह शब्द ओवरलैप को पुरस्कृत करता है, अर्थ को नहीं। "The cat sat on the mat" और "A feline rested upon the rug" समान अर्थ के बावजूद एक-दूसरे के विरुद्ध खराब स्कोर करते हैं।

Perplexity

Perplexity मापती है कि नए टेक्स्ट से भाषा मॉडल कितना आश्चर्यचकित होता है। कम बेहतर है - 20 की perplexity का मतलब है कि मॉडल औसतन 20 समान रूप से संभावित अगले शब्दों में से चुन रहा है। एक अच्छे मॉडल की perplexity कम होती है क्योंकि वह टेक्स्ट की अच्छी प्रेडिक्शन करता है।

GPT-4 अंग्रेज़ी टेक्स्ट पर उल्लेखनीय रूप से कम perplexity प्राप्त करता है, जो इसकी मज़बूत भाषा समझ को दर्शाता है।

प्रोडक्शन में A/B टेस्टिंग

ऑफ़लाइन मेट्रिक्स आवश्यक हैं लेकिन पर्याप्त नहीं। अंतिम परीक्षा A/B टेस्टिंग है: दो मॉडल वर्शन अलग-अलग उपयोगकर्ता समूहों में डिप्लॉय करें और वास्तविक-दुनिया के परिणाम मापें।

• क्या नया रिकमेंडेशन मॉडल क्लिक-थ्रू रेट बढ़ाता है?
• क्या बेहतर चैटबॉट सपोर्ट टिकट एस्केलेशन कम करता है?
• क्या अपडेटेड स्पैम फ़िल्टर को कम "not spam" करेक्शन मिलते हैं?

प्रोडक्शन मेट्रिक्स अक्सर ऑफ़लाइन मेट्रिक्स से भिन्न होती हैं क्योंकि उपयोगकर्ता अप्रत्याशित रूप से व्यवहार करते हैं।

कौन सी मेट्रिक कब उपयोग करें

| परिदृश्य | प्राथमिक मेट्रिक | |----------|---------------| | संतुलित क्लासिफिकेशन | Accuracy, F1 | | असंतुलित क्लासेज़ | Precision, Recall, AUC | | चिकित्सा स्क्रीनिंग | Recall (sensitivity) | | स्पैम फ़िल्टरिंग | Precision + Recall संतुलन | | मशीन अनुवाद | BLEU, METEOR | | भाषा मॉडल गुणवत्ता | Perplexity | | प्रोडक्शन प्रभाव | A/B टेस्ट परिणाम |

मुख्य सारांश

• असंतुलित डेटा में एक्यूरेसी भ्रामक है - हमेशा कन्फ्यूज़न मैट्रिक्स जाँचें।
• Precision पॉज़िटिव प्रेडिक्शन की शुद्धता मापता है; recall पूर्णता मापता है।
• F1 दोनों को संतुलित करता है; AUC सभी थ्रेशोल्ड पर मूल्यांकन करता है।
• टेक्स्ट जनरेशन क्लासिफिकेशन मेट्रिक्स के बजाय BLEU और perplexity उपयोग करता है।
• A/B टेस्टिंग वास्तविक-दुनिया के मॉडल प्रभाव को मापने का स्वर्ण मानक है।

📚 आगे पढ़ें

• Google ML Crash Course - Classification Metrics - Precision, recall, और ROC वक्र की इंटरैक्टिव वॉकथ्रू
• Towards Data Science - Beyond Accuracy - मेट्रिक चयन के वास्तविक-दुनिया उदाहरणों के साथ व्यावहारिक गाइड