RLHF en Alignment - Hoe ChatGPT Menselijke Waarden Leert

Openbare lespreview

Begrijp hoe ruwe taalmodellen worden omgevormd tot behulpzame, ongevaarlijke assistenten via begeleide fijnafstemming, beloningsmodellering en reinforcement learning from human feedback.

Leerdoelen

Aan het einde van deze les begrijp je:

• ✓Het Alignment-probleem
• ✓Fase 1: Supervised Fijnafstemming (SFT)
• ✓Fase 2: Reward Model Training
• ✓Fase 3: Reinforcement Learning (PPO)
• ✓DPO: De Tussenpersoon Elimineren

Lesoverzicht

1. Het Alignment-probleem
2. Fase 1: Supervised Fijnafstemming (SFT)
3. Fase 2: Reward Model Training
4. Fase 3: Reinforcement Learning (PPO)
5. DPO: De Tussenpersoon Elimineren
6. Constitutional AI: Zelfsupervisie op Schaal
7. Red Teaming
8. De Alignment-belasting
9. 📚 Verder Lezen