Öffentliche Lektionsvorschau
Erfahren Sie, wie Sprachmodelle mithilfe von BPE und anderen Algorithmen Text in Token aufteilen und warum die Tokenisierung alles von den Kosten bis zur Leistungsfähigkeit beeinflusst.
Am Ende dieser Lektion verstehst du:
Neuronale Netze arbeiten mit Zahlen. Sie können das Wort „Hallo“ nicht so lesen wie Sie. Bevor ein Sprachmodell Text verarbeiten kann, muss er in kleine numerische Teile, sogenannte Tokens , zerlegt werden. Dieser scheinbar einfache Schritt hat tiefgreifende Konsequenzen dafür, wie KI Sprache versteht – und missversteht.
Tokenisierung – Wie KI Text liest ist Teil von AI Sprouts
Tokenisierung – Wie KI Text liest ist Teil von AI Sprouts. Upgrade, um die komplette Lektion, Quizze, Fortschrittsspeicherung und jede Akademie freizuschalten.
7 Tage kostenlos. Jederzeit kündbar, ohne Rückfragen.