Aufmerksamkeit und Transformatoren – Die Architektur, die alles veränderte

Öffentliche Lektionsvorschau

Ein tiefer Einblick in Selbstaufmerksamkeit, Mehrkopfaufmerksamkeit, Positionskodierung und die Transformer-Architektur, die jedem modernen großen Sprachmodell zugrunde liegt.

Lernziele

Am Ende dieser Lektion verstehst du:

• ✓Warum RNNs an eine Wand stoßen
• ✓Die Aufmerksamkeitsintuition
• ✓Abfrage, Schlüssel, Wert – Der Kernmechanismus
• ✓Mehrköpfige Aufmerksamkeit
• ✓Positionskodierung

Lektionsübersicht

1. Warum RNNs an eine Wand stoßen
2. Die Aufmerksamkeitsintuition
3. Abfrage, Schlüssel, Wert – Der Kernmechanismus
4. Mehrköpfige Aufmerksamkeit
5. Positionskodierung
6. Die vollständige Transformer-Architektur
7. Warum Transformatoren parallelisieren
8. Nur-Decoder vs. Nur-Encoder vs. Encoder-Decoder
9. 📚 Weiterführende Literatur