Si y = f(g(x)), alors dy/dx = f'(g(x)) × g'(x).

Analogie du quotidien : Vous conduisez vers un magasin. Votre vitesse dépend de la force avec laquelle vous appuyez sur l'accélérateur. La position de l'accélérateur dépend du trafic. Pour savoir comment le trafic affecte votre vitesse, vous multipliez : (vitesse par pression de l'accélérateur) × (pression de l'accélérateur par condition de trafic). C'est la règle de la chaîne - multiplier les taux de variation locaux le long d'une chaîne.

Graphes de calcul - Visualiser les mathématiques

Les frameworks modernes comme PyTorch construisent un graphe de calcul pendant la passe avant. Chaque opération - addition, multiplication, ReLU - devient un nœud. La rétropropagation parcourt ensuite ce graphe en sens inverse, en appliquant la règle de la chaîne à chaque nœud pour calculer les gradients.

Pensez-y comme un réseau fluvial. La perte est l'océan à l'extrémité. La rétropropagation remonte chaque affluent pour déterminer dans quelle mesure chaque source (poids) a contribué au débit final.

Un petit exemple détaillé

Supposons que L = (w × x - y)² avec w = 2, x = 3, y = 10.

1. Passe avant : w × x = 6, puis 6 - 10 = -4, puis (-4)² = 16. Perte = 16.
2. Passe arrière : dL/d(diff) = 2 × (-4) = -8, puis d(diff)/d(wx) = 1, donc dL/d(wx) = -8.
3. Enfin, d(wx)/dw = x = 3, donc dL/dw = -8 × 3 = -24.

Le gradient de −24 nous indique : augmenter w diminuera la perte rapidement. C'est exactement le signal dont nous avons besoin pour nous améliorer.

Flux des gradients à travers les couches

Dans un réseau profond, les gradients doivent traverser de nombreuses couches. Chaque couche multiplie le gradient par sa dérivée locale. Cela crée deux modes de défaillance dangereux :

Gradients évanescents

Si les dérivées locales sont petites (par exemple, la fonction sigmoïde sature près de 0 ou 1), la multiplication répétée fait tendre les gradients vers zéro. Les premières couches apprennent à peine - elles ne reçoivent presque aucun signal. Ce problème a longtemps affecté les réseaux profonds.

Gradients explosifs

Si les dérivées locales sont grandes, les gradients croissent de manière exponentielle. Les poids reçoivent des mises à jour énormes et le réseau devient instable, produisant des valeurs NaN.

Les solutions modernes incluent :

• Activation ReLU - la dérivée vaut 1 pour les entrées positives, évitant la diminution.
• Connexions résiduelles (skip connections) - offrent aux gradients une autoroute pour contourner les couches.
• Normalisation par lots (batch normalisation) - maintient les valeurs dans une plage saine.
• Écrêtage des gradients (gradient clipping) - plafonne les gradients pour éviter les explosions.

Comment les poids sont réellement mis à jour

Une fois que la rétropropagation a calculé chaque gradient, l'optimiseur (leçon suivante) met à jour chaque poids :

w_new = w_old - learning_rate × gradient

Le taux d'apprentissage contrôle la taille du pas. Trop grand et vous dépassez la cible ; trop petit et l'entraînement prend une éternité. Le gradient vous donne la direction ; le taux d'apprentissage vous dit de combien avancer.

Pourquoi la rétropropagation est essentielle

Chaque fois que ChatGPT améliore sa prédiction du mot suivant, chaque fois qu'une voiture autonome affine sa direction, la rétropropagation fonctionne en arrière-plan. C'est l'algorithme qui rend l'apprentissage par les erreurs mathématiquement précis.

Sans la rétropropagation, nous n'aurions aucun moyen efficace d'entraîner des réseaux avec des millions - voire des milliards - de paramètres.

Points clés à retenir

• La rétropropagation calcule les gradients en parcourant le graphe de calcul en sens inverse.
• La règle de la chaîne multiplie les dérivées locales le long de chaque chemin.
• Les gradients évanescents ralentissent l'apprentissage ; les gradients explosifs le déstabilisent.
• Les techniques modernes (ReLU, connexions résiduelles, écrêtage des gradients) maintiennent un flux de gradients sain.
• Rétropropagation + optimiseur = le moteur d'apprentissage de tout l'apprentissage profond moderne.

📚 Pour aller plus loin

• Andrej Karpathy - nn-zero-to-hero (micrograd) - Construire la rétropropagation à partir de zéro en Python
• 3Blue1Brown - Backpropagation Calculus - Magnifique explication visuelle de la règle de la chaîne dans les réseaux de neurones
• CS231n Backprop Notes - Référence concise de Stanford sur les graphes de calcul et le flux des gradients