రోజువారీ ఉదాహరణ: మీరు షాపుకు డ్రైవ్ చేస్తున్నారు. మీ స్పీడ్ మీరు యాక్సిలరేటర్‌ను ఎంత గట్టిగా నొక్కుతారనే దానిపై ఆధారపడి ఉంటుంది. యాక్సిలరేటర్ స్థానం ట్రాఫిక్‌పై ఆధారపడి ఉంటుంది. ట్రాఫిక్ మీ స్పీడ్‌ను ఎలా ప్రభావితం చేస్తుందో తెలుసుకోవడానికి, మీరు గుణిస్తారు: (యాక్సిలరేటర్ ప్రెస్ ప్రతి స్పీడ్) × (ట్రాఫిక్ పరిస్థితి ప్రతి యాక్సిలరేటర్ ప్రెస్). ఇదే చైన్ రూల్ - ఒక గొలుసు వెంట స్థానిక మార్పు రేట్లను గుణించడం.

కంప్యుటేషన్ గ్రాఫ్‌లు - గణితాన్ని విజువలైజ్ చేయడం

PyTorch వంటి ఆధునిక ఫ్రేమ్‌వర్క్‌లు ఫార్వర్డ్ పాస్ సమయంలో కంప్యుటేషన్ గ్రాఫ్ను నిర్మిస్తాయి. ప్రతి ఆపరేషన్ - add, multiply, ReLU - ఒక నోడ్ అవుతుంది. బ్యాక్‌ప్రాపగేషన్ ఈ గ్రాఫ్‌ను రివర్స్‌లో నడుస్తుంది, ప్రతి నోడ్ వద్ద చైన్ రూల్ వర్తింపజేసి గ్రేడియంట్‌లను లెక్కిస్తుంది.

దీన్ని నది వ్యవస్థలా ఊహించుకోండి. లాస్ అనేది చివరలో ఉన్న సముద్రం. బ్యాక్‌ప్రాప్ ప్రతి ఉపనదిని పైవైపుకు గుర్తిస్తుంది - ప్రతి మూలం (వెయిట్) తుది ప్రవాహానికి ఎంత దోహదపడిందో తెలుసుకోవడానికి.

ఒక చిన్న వర్క్డ్ ఎగ్జాంపుల్

L = (w × x - y)² అనుకుందాం, w = 2, x = 3, y = 10 తో.

1. ఫార్వర్డ్: w × x = 6, తర్వాత 6 - 10 = -4, తర్వాత (-4)² = 16. Loss = 16.
2. బ్యాక్‌వర్డ్: dL/d(diff) = 2 × (-4) = -8, తర్వాత d(diff)/d(wx) = 1, కాబట్టి dL/d(wx) = -8.
3. చివరగా, d(wx)/dw = x = 3, కాబట్టి dL/dw = -8 × 3 = -24.

−24 గ్రేడియంట్ మనకు చెబుతుంది: wను పెంచడం వల్ల లాస్ వేగంగా తగ్గుతుంది. మెరుగుపడటానికి మనకు కావలసిన సంకేతం ఇదే.

లేయర్ల గుండా గ్రేడియంట్ ఫ్లో

డీప్ నెట్‌వర్క్‌లో, గ్రేడియంట్‌లు అనేక లేయర్ల గుండా ప్రయాణించాలి. ప్రతి లేయర్ గ్రేడియంట్‌ను దాని లోకల్ డెరివేటివ్‌తో గుణిస్తుంది. ఇది రెండు ప్రమాదకరమైన వైఫల్య మోడ్‌లను సృష్టిస్తుంది:

వేనిషింగ్ గ్రేడియంట్‌లు

లోకల్ డెరివేటివ్‌లు చిన్నవిగా ఉంటే (ఉదా., sigmoid ఫంక్షన్ 0 లేదా 1 దగ్గర సాచురేట్ అయితే), పదే పదే గుణించడం వల్ల గ్రేడియంట్‌లు సున్నా వైపు కుదించబడతాయి. ప్రారంభ లేయర్లు దాదాపు సంకేతం అందుకోవు - అవి నేర్చుకోవడం కష్టమవుతుంది. ఇది ప్రారంభ డీప్ నెట్‌వర్క్‌లను వేధించింది.

ఎక్స్‌ప్లోడింగ్ గ్రేడియంట్‌లు

లోకల్ డెరివేటివ్‌లు పెద్దవిగా ఉంటే, గ్రేడియంట్‌లు ఎక్స్‌పోనెన్షియల్‌గా పెరుగుతాయి. వెయిట్‌లు భారీ అప్‌డేట్‌లు పొందుతాయి, నెట్‌వర్క్ అస్థిరంగా మారుతుంది, NaN విలువలను ఉత్పత్తి చేస్తుంది.

ఆధునిక పరిష్కారాలు:

• ReLU యాక్టివేషన్ - పాజిటివ్ ఇన్‌పుట్‌లకు డెరివేటివ్ 1, కుదించడం నివారిస్తుంది.
• రెసిడ్యువల్ కనెక్షన్‌లు (స్కిప్ కనెక్షన్‌లు) - లేయర్లను దాటడానికి గ్రేడియంట్‌లకు హైవే ఇస్తాయి.
• బ్యాచ్ నార్మలైజేషన్ - విలువలను ఆరోగ్యకరమైన పరిధిలో ఉంచుతుంది.
• గ్రేడియంట్ క్లిప్పింగ్ - విస్ఫోటనాలను నివారించడానికి గ్రేడియంట్‌లను పరిమితం చేస్తుంది.

వెయిట్‌లు అసలు ఎలా అప్‌డేట్ అవుతాయి

బ్యాక్‌ప్రాప్ ప్రతి గ్రేడియంట్‌ను లెక్కించిన తర్వాత, ఆప్టిమైజర్ (తదుపరి పాఠం) ప్రతి వెయిట్‌ను అప్‌డేట్ చేస్తుంది:

w_new = w_old - learning_rate × gradient

లెర్నింగ్ రేట్ స్టెప్ సైజ్‌ను నియంత్రిస్తుంది. చాలా పెద్దగా ఉంటే మీరు ఓవర్‌షూట్ చేస్తారు; చాలా చిన్నగా ఉంటే ట్రైనింగ్ ఎప్పటికీ పూర్తికాదు. గ్రేడియంట్ మీకు దిశను చెబుతుంది; లెర్నింగ్ రేట్ ఎంత దూరం అడుగు వేయాలో చెబుతుంది.

బ్యాక్‌ప్రాప్ ఎందుకు ముఖ్యం

ChatGPT తన తదుపరి-పదం ప్రిడిక్షన్‌ను మెరుగుపరచినప్పుడల్లా, సెల్ఫ్-డ్రైవింగ్ కారు తన స్టీరింగ్‌ను మెరుగుపరచినప్పుడల్లా, బ్యాక్‌ప్రాపగేషన్ లోపల నడుస్తుంది. ఇది తప్పుల నుండి నేర్చుకోవడాన్ని గణితశాస్త్రపరంగా ఖచ్చితంగా చేసే అల్గారిథం.

బ్యాక్‌ప్రాప్ లేకుండా, మిలియన్లు - లేదా బిలియన్ల - పారామీటర్లతో నెట్‌వర్క్‌లను ట్రైన్ చేయడానికి సమర్థవంతమైన మార్గం ఉండదు.

ముఖ్యమైన అంశాలు

• బ్యాక్‌ప్రాపగేషన్ కంప్యుటేషన్ గ్రాఫ్‌ను రివర్స్‌లో నడవడం ద్వారా గ్రేడియంట్‌లను లెక్కిస్తుంది.
• చైన్ రూల్ ప్రతి మార్గం వెంట లోకల్ డెరివేటివ్‌లను గుణిస్తుంది.
• వేనిషింగ్ గ్రేడియంట్‌లు నేర్చుకోవడాన్ని నెమ్మదిస్తాయి; ఎక్స్‌ప్లోడింగ్ గ్రేడియంట్‌లు దాన్ని అస్థిరం చేస్తాయి.
• ఆధునిక ట్రిక్స్ (ReLU, స్కిప్ కనెక్షన్‌లు, గ్రేడియంట్ క్లిప్పింగ్) గ్రేడియంట్ ఫ్లోను ఆరోగ్యంగా ఉంచుతాయి.
• బ్యాక్‌ప్రాప్ + ఆప్టిమైజర్ = అన్ని ఆధునిక డీప్ లెర్నింగ్ యొక్క లెర్నింగ్ ఇంజిన్.

📚 మరింత చదవండి

• Andrej Karpathy - nn-zero-to-hero (micrograd) - Python లో బ్యాక్‌ప్రాప్‌ను మొదటి నుండి నిర్మించండి
• 3Blue1Brown - Backpropagation Calculus - న్యూరల్ నెట్‌వర్క్‌లలో చైన్ రూల్ యొక్క అందమైన విజువల్ వివరణ
• CS231n Backprop Notes - కంప్యుటేషన్ గ్రాఫ్‌లు మరియు గ్రేడియంట్ ఫ్లోపై Stanford సంక్షిప్త రిఫరెన్స్