Comprendre les grands modèles de langage

Aperçu public de la leçon

Comment GPT, Claude et autres LLM fonctionnent sous le capot

Objectifs d’apprentissage

À la fin de cette leçon, tu comprendras :

• ✓🔡 Premièrement : qu'est-ce qu'un jeton ?
• ✓🎯 La tâche principale : prédire ce qui va suivre
• ✓🔄 L'architecture du transformateur
• ✓👁️ Attention : Comment le modèle se concentre
• ✓📏 Fenêtre contextuelle : de combien de choses peut-elle se souvenir ?

Plan de la leçon

1. 🔡 Premièrement : qu'est-ce qu'un jeton ?
2. 🎯 La tâche principale : prédire ce qui va suivre
3. 🔄 L'architecture du transformateur
4. 👁️ Attention : Comment le modèle se concentre
5. Attention multi-têtes
6. 📏 Fenêtre contextuelle : de combien de choses peut-elle se souvenir ?
7. 🏋️ Formation : l'échelle est primordiale
8. Capacités émergentes : la surprise
9. 🎛️ De la machine de prédiction à l'assistant utile
10. 🔬 Ce que les LLM peuvent et ne peuvent pas faire