RLHF e Alinhamento - Como o ChatGPT aprende os valores humanos

Prévia pública da lição

Entenda como os modelos de linguagem bruta são transformados em assistentes úteis e inofensivos por meio de ajuste fino supervisionado, modelagem de recompensas e aprendizado reforçado a partir de feedback humano.

Objetivos de aprendizagem

Ao final desta lição, você vai entender:

• ✓O problema do alinhamento
• ✓Estágio 1: Ajuste fino supervisionado (SFT)
• ✓Estágio 2: Treinamento de modelo de recompensa
• ✓Estágio 3: Aprendizagem por Reforço (PPO)
• ✓DPO: Eliminando o intermediário

Resumo da lição

1. O problema do alinhamento
2. Estágio 1: Ajuste fino supervisionado (SFT)
3. Estágio 2: Treinamento de modelo de recompensa
4. Estágio 3: Aprendizagem por Reforço (PPO)
5. DPO: Eliminando o intermediário
6. IA constitucional: autosupervisão em escala
7. Equipe Vermelha
8. O imposto de alinhamento
9. 📚 Leitura adicional