Aperçu public de la leçon
Explorez les lois d'échelle empiriques qui gouvernent les performances des modèles, les stratégies d'entraînement compute-optimal, et l'ingénierie des systèmes distribués derrière l'entraînement des modèles de pointe.
À la fin de cette leçon, tu comprendras :
La révolution moderne de l'IA n'est pas seulement une histoire d'algorithmes - c'est une histoire d' ingénierie et de passage à l'échelle . Les chercheurs ont découvert que les performances des modèles suivent des lois de puissance prévisibles en fonction des paramètres, des données et du calcul, et l'exploitation de ces lois a nécessité l'invention de paradigmes d'entraînement distribué entièrement nouveaux.
Scaling laws et entraînement à grande échelle - Pourquoi les modèles plus grands deviennent plus intelligents fait partie de AI Canopy
Scaling laws et entraînement à grande échelle - Pourquoi les modèles plus grands deviennent plus intelligents fait partie de AI Canopy. Passe à Pro pour débloquer la leçon complète, les quiz, le suivi de progression et toutes les académies.
Gratuit pendant 7 jours. Annulez quand vous voulez, sans justification.