Fonctions de perte et optimiseurs
Fonctions de perte et optimiseurs
La rétropropagation nous donne des gradients - mais des gradients de quoi ? Avant que la rétropropagation puisse s'exécuter, nous avons besoin d'un seul nombre qui capture à quel point le modèle se trompe. Ce nombre provient d'une fonction de perte. Une fois que nous avons les gradients, un optimiseur décide comment mettre à jour les poids. Ensemble, ils forment la boucle d'apprentissage.
Qu'est-ce qu'une fonction de perte ?
Une fonction de perte (également appelée fonction de coût) prend la prédiction du modèle et la vraie réponse, et renvoie un nombre mesurant le « degré d'erreur ». L'objectif de l'entraînement est de minimiser ce nombre.
Pensez-y comme un score au golf - plus c'est bas, mieux c'est. Une perte de 0 signifie une prédiction parfaite.
Fonctions de perte pour la régression - MSE
Lorsqu'on prédit des valeurs continues (prix immobiliers, température), on utilise l'erreur quadratique moyenne (MSE) :
MSE = (1/n) × Σ(prédit - réel)²
Élever au carré fait deux choses : cela rend toutes les erreurs positives, et cela pénalise de manière disproportionnée les grandes erreurs. Prédire un prix immobilier avec 100 000 € d'écart produit une erreur au carré 100 fois pire qu'un écart de 10 000 €.
MSE remonte à Carl Friedrich Gauss en 1795 - plus de deux siècles avant les réseaux de neurones. Il l'a utilisée pour suivre l'orbite de l'astéroïde Cérès.
Fonctions de perte pour la classification - Entropie croisée
Lorsqu'on prédit des catégories (spam ou non, chat vs chien), on utilise la perte d'entropie croisée. Elle mesure à quel point les probabilités prédites par le modèle sont éloignées des vraies étiquettes.
Si la bonne réponse est « chat » et que le modèle dit 99 % chat, la perte est minuscule. S'il dit 10 % chat, la perte est énorme. L'entropie croisée a une propriété utile : elle devient infiniment mécontente lorsque le modèle se trompe avec confiance, créant un gradient fort pour corriger l'erreur.
L'entropie croisée binaire est destinée aux problèmes à deux classes. L'entropie croisée catégorielle gère plusieurs classes en comparant les distributions de probabilités.
Discussion
Sign in to join the discussion