RLHF y alineación: cómo ChatGPT aprende los valores humanos

Vista previa pública de la lección

Comprenda cómo los modelos de lenguaje sin formato se transforman en asistentes útiles e inofensivos mediante ajustes supervisados, modelos de recompensa y aprendizaje reforzado a partir de comentarios humanos.

Objetivos de aprendizaje

Al final de esta lección, comprenderás:

• ✓El problema de la alineación
• ✓Etapa 1: Ajuste fino supervisado (SFT)
• ✓Etapa 2: Entrenamiento del modelo de recompensa
• ✓Etapa 3: Aprendizaje por refuerzo (PPO)
• ✓DPO: Eliminar al intermediario

Esquema de la lección

1. El problema de la alineación
2. Etapa 1: Ajuste fino supervisado (SFT)
3. Etapa 2: Entrenamiento del modelo de recompensa
4. Etapa 3: Aprendizaje por refuerzo (PPO)
5. DPO: Eliminar al intermediario
6. IA constitucional: autosupervisión a escala
7. Equipo rojo
8. El impuesto de alineación
9. 📚 Lecturas adicionales