Epochs : combien de passages sur les données ?

Un passage complet à travers l'ensemble des données d'entraînement est appelé un epoch. L'entraînement implique généralement de nombreux epochs - le modèle voit les mêmes données plusieurs fois, s'améliorant légèrement à chaque tour.

• Epoch 1 : Le modèle fait beaucoup d'erreurs ; la perte est élevée.
• Epoch 10 : Le modèle s'est considérablement amélioré ; la perte diminue.
• Epoch 50 : Les améliorations ralentissent ; le modèle approche de son meilleur niveau.
• Epoch 200 : Le modèle pourrait commencer à mémoriser - ce qui nous amène à notre sujet suivant.

Surapprentissage : l'étudiant qui mémorise

Le surapprentissage (overfitting) est l'un des problèmes les plus courants dans l'entraînement de l'IA. Il survient lorsque le modèle apprend les données d'entraînement trop bien - y compris leur bruit et leurs particularités - et échoue sur des données nouvelles, jamais vues.

Imaginez un étudiant qui mémorise chaque ancien sujet d'examen mot pour mot. Il obtient des résultats parfaits sur les anciens sujets mais peine dès que les questions changent, même légèrement. L'étudiant n'a pas appris la matière - il a mémorisé les réponses.

Signes de surapprentissage :

• L'exactitude sur les données d'entraînement est très élevée (par exemple, 99 %).
• Les performances sur de nouvelles données sont bien pires (par exemple, 75 %).
• Le modèle a essentiellement mémorisé les exemples d'entraînement.

Sous-apprentissage : l'étudiant qui ne révise pas

Le problème inverse est le sous-apprentissage (underfitting). Il survient lorsque le modèle n'a pas suffisamment appris des données. Il performe mal à la fois sur les données d'entraînement et sur les nouvelles données.

Les causes du sous-apprentissage incluent :

• Le modèle est trop simple pour la complexité du problème.
• L'entraînement s'est arrêté trop tôt (pas assez d'epochs).
• Les caractéristiques des données ne sont pas assez informatives.

Si le surapprentissage est comme mémoriser les anciens sujets, le sous-apprentissage est comme arriver à l'examen en ayant à peine ouvert le manuel.

Jeux de validation et de test

Pour détecter le surapprentissage et le sous-apprentissage, nous divisons nos données en trois parties :

| Jeu | Objectif | Quand il est utilisé | |-----|----------|---------------------| | Jeu d'entraînement | Le modèle apprend à partir de ces données | Pendant l'entraînement | | Jeu de validation | Utilisé pour vérifier la progression et ajuster les paramètres | Pendant l'entraînement | | Jeu de test | Évaluation finale sur des données complètement inédites | Après l'entraînement |

Une répartition courante est 70 % entraînement, 15 % validation et 15 % test. Le modèle ne voit jamais le jeu de test avant la toute fin - c'est l'examen final.

Quand arrêter l'entraînement

Savoir quand s'arrêter est crucial. Entraîner trop peu et le modèle sous-apprend. Entraîner trop et il surapprend. Le juste milieu est l'endroit où la perte de validation cesse de s'améliorer.

Une technique appelée arrêt précoce (early stopping) automatise cela :

1. Surveiller la perte de validation après chaque epoch.
2. Si elle ne s'est pas améliorée pendant un nombre défini d'epochs (appelé patience), arrêter l'entraînement.
3. Revenir aux poids du meilleur epoch.

Cela empêche le modèle de dépasser le point d'apprentissage utile et de glisser vers la mémorisation.

Points clés à retenir

• La boucle d'entraînement se répète : prédire → comparer → ajuster → répéter.
• Une fonction de perte mesure à quel point les prédictions sont éloignées de la vérité.
• Un epoch est un passage complet à travers les données d'entraînement.
• Le surapprentissage signifie mémoriser les données ; le sous-apprentissage signifie ne pas avoir assez appris.
• Les données sont divisées en jeux d'entraînement, de validation et de test.
• L'arrêt précoce empêche l'entraînement d'aller trop loin.

Dans la dernière leçon, nous explorerons les dimensions éthiques de l'IA - le biais, l'équité, la vie privée et ce à quoi ressemble une IA responsable.