Les transformateurs expliqués : l'architecture derrière ChatGPT

Aperçu public de la leçon

Comprendre l'architecture Transformer qui alimente ChatGPT, Claude, Gemini, BERT et les modèles GPT modernes - le mécanisme d'attention expliqué étape par étape.

Objectifs d’apprentissage

À la fin de cette leçon, tu comprendras :

• ✓⏱️ Le problème avec les RNN : traiter le texte de manière séquentielle
• ✓👀 Le mécanisme d'auto-attention
• ✓🧠 Attention multi-têtes
• ✓📍 Encodage positionnel
• ✓🏗️ L'architecture complète du transformateur

Plan de la leçon

1. ⏱️ Le problème avec les RNN : traiter le texte de manière séquentielle
2. 👀 Le mécanisme d'auto-attention
3. Requête, clé et valeur - En anglais simple
4. Pourquoi la mise à l'échelle de la racine carrée ?
5. 🧠 Attention multi-têtes
6. 📍 Encodage positionnel
7. 🏗️ L'architecture complète du transformateur
8. Encodeur
9. Décodeur
10. 🆚 BERT vs GPT : deux saveurs de transformateur
11. BERT (encodeur uniquement)
12. GPT (décodeur uniquement)
13. 📈 Pourquoi l'échelle est importante
14. ⚡ Formation vs Inférence
15. Points clés à retenir