Atención y Transformers: la arquitectura que lo cambió todo

Vista previa pública de la lección

Una inmersión profunda en la autoatención, la atención de múltiples cabezas, la codificación posicional y la arquitectura Transformer que impulsa todos los modelos de lenguajes grandes modernos.

Objetivos de aprendizaje

Al final de esta lección, comprenderás:

• ✓Por qué los RNN chocan contra una pared
• ✓La Intuición de la Atención
• ✓Consulta, clave, valor: el mecanismo central
• ✓Atención de múltiples cabezas
• ✓Codificación posicional

Esquema de la lección

1. Por qué los RNN chocan contra una pared
2. La Intuición de la Atención
3. Consulta, clave, valor: el mecanismo central
4. Atención de múltiples cabezas
5. Codificación posicional
6. La arquitectura transformadora completa
7. Por qué los transformadores se paralelizan
8. Solo decodificador versus solo codificador versus codificador-decodificador
9. 📚 Lecturas adicionales