లాస్ ఫంక్షన్లు మరియు ఆప్టిమైజర్లు
లాస్ ఫంక్షన్లు మరియు ఆప్టిమైజర్లు
బ్యాక్ప్రాపగేషన్ మనకు గ్రేడియంట్లు ఇస్తుంది - కానీ దేని గ్రేడియంట్లు? బ్యాక్ప్రాప్ నడవడానికి ముందు, మోడల్ ఎంత తప్పుగా ఉందో క్యాప్చర్ చేసే ఒక సంఖ్య మనకు కావాలి. ఆ సంఖ్య లాస్ ఫంక్షన్ నుండి వస్తుంది. గ్రేడియంట్లు వచ్చిన తర్వాత, వెయిట్లను ఎలా అప్డేట్ చేయాలో ఆప్టిమైజర్ నిర్ణయిస్తుంది. కలిసి, అవి లెర్నింగ్ లూప్ను ఏర్పరుస్తాయి.
లాస్ ఫంక్షన్ అంటే ఏమిటి?
లాస్ ఫంక్షన్ (కాస్ట్ ఫంక్షన్ అని కూడా అంటారు) మోడల్ ప్రిడిక్షన్ మరియు నిజమైన సమాధానాన్ని తీసుకొని, "తప్పుతనాన్ని" కొలిచే సంఖ్యను రిటర్న్ చేస్తుంది. ట్రైనింగ్ లక్ష్యం ఈ సంఖ్యను కనిష్టం చేయడం.
దీన్ని గోల్ఫ్లో స్కోర్లా ఆలోచించండి - తక్కువ ఉంటే మంచిది. లాస్ 0 అంటే ఖచ్చితమైన ప్రిడిక్షన్.
రిగ్రెషన్ కోసం లాస్ ఫంక్షన్లు - MSE
నిరంతర విలువలను (ఇంటి ధరలు, ఉష్ణోగ్రత) అంచనా వేసేటప్పుడు, మనం Mean Squared Error (MSE) ఉపయోగిస్తాము:
MSE = (1/n) × Σ(predicted - actual)²
స్క్వేరింగ్ రెండు పనులు చేస్తుంది: అన్ని ఎర్రర్లను పాజిటివ్గా చేస్తుంది, మరియు పెద్ద ఎర్రర్లను అసమానంగా శిక్షిస్తుంది. ఇంటి ధర £100k తప్పుగా అంచనా వేస్తే, స్క్వేర్డ్ ఎర్రర్ £10k తప్పు కంటే 100× ఎక్కువ.
MSE 1795లో Carl Friedrich Gauss దగ్గర నుండి వచ్చింది - న్యూరల్ నెట్వర్క్ల కంటే రెండు శతాబ్దాలకు పైగా ముందు. Ceres గ్రహశకలం కక్ష్యను ట్రాక్ చేయడానికి ఆయన దీన్ని ఉపయోగించారు.
క్లాసిఫికేషన్ కోసం లాస్ ఫంక్షన్లు - Cross-Entropy
కేటగిరీలను అంచనా వేసేటప్పుడు (స్పామ్ లేదా కాదు, పిల్లి vs కుక్క), మనం cross-entropy loss ఉపయోగిస్తాము. మోడల్ అంచనా వేసిన ప్రాబబిలిటీలు నిజమైన లేబుల్ల నుండి ఎంత దూరంలో ఉన్నాయో ఇది కొలుస్తుంది.
సరైన సమాధానం "పిల్లి" అయి, మోడల్ 99% పిల్లి అని చెబితే, లాస్ చాలా తక్కువ. 10% పిల్లి అని చెబితే, లాస్ భారీగా ఉంటుంది. Cross-entropy కు ఉపయోగకరమైన లక్షణం ఉంది: మోడల్ నమ్మకంగా తప్పు అయినప్పుడు ఇది అపరిమితంగా అసంతృప్తి చెందుతుంది, తప్పును సరిచేయడానికి బలమైన గ్రేడియంట్ను సృష్టిస్తుంది.
Binary cross-entropy రెండు-క్లాస్ సమస్యల కోసం. Categorical cross-entropy ప్రాబబిలిటీ డిస్ట్రిబ్యూషన్లను పోల్చడం ద్వారా బహుళ క్లాసులను హ్యాండిల్ చేస్తుంది.
క్లాసిఫికేషన్ టాస్క్లకు MSE ఎందుకు తక్కువ సరైన ఎంపిక?
Discussion
Sign in to join the discussion