RLHF und Ausrichtung - Wie ChatGPT menschliche Werte lernt

Öffentliche Lektionsvorschau

Verstehen Sie, wie rohe Sprachmodelle durch überwachte Feinabstimmung, Belohnungsmodellierung und verstärkendes Lernen aus menschlichem Feedback in hilfreiche, harmlose Assistenten umgewandelt werden.

Lernziele

Am Ende dieser Lektion verstehst du:

• ✓Das Ausrichtungsproblem
• ✓Stufe 1: Überwachte Feinabstimmung (SFT)
• ✓Stufe 2: Belohnungsmodellschulung
• ✓Stufe 3: Reinforcement Learning (PPO)
• ✓DPO: Den Mittelsmann ausschalten

Lektionsübersicht

1. Das Ausrichtungsproblem
2. Stufe 1: Überwachte Feinabstimmung (SFT)
3. Stufe 2: Belohnungsmodellschulung
4. Stufe 3: Reinforcement Learning (PPO)
5. DPO: Den Mittelsmann ausschalten
6. Verfassungsmäßige KI: Selbstüberwachung im großen Maßstab
7. Rotes Teaming
8. Die Anpassungssteuer
9. 📚 Weiterführende Literatur