RLHF et alignement - Comment ChatGPT apprend les valeurs humaines

Aperçu public de la leçon

Comprenez comment les modèles de langage bruts sont transformés en assistants utiles et inoffensifs grâce au réglage fin supervisé, à la modélisation de la récompense et à l'apprentissage par renforcement à partir de feedback humain.

Objectifs d’apprentissage

À la fin de cette leçon, tu comprendras :

• ✓Le problème de l'alignement
• ✓Étape 1 : réglage fin supervisé (SFT)
• ✓Étape 2 : Entraînement du reward model
• ✓Étape 3 : Apprentissage par renforcement (PPO)
• ✓DPO : supprimer l'intermédiaire

Plan de la leçon

1. Le problème de l'alignement
2. Étape 1 : réglage fin supervisé (SFT)
3. Étape 2 : Entraînement du reward model
4. Étape 3 : Apprentissage par renforcement (PPO)
5. DPO : supprimer l'intermédiaire
6. Constitutional AI : auto-supervision à grande échelle
7. Red teaming
8. La taxe de l'alignement
9. 📚 Pour aller plus loin