Aperçu public de la leçon
Découvrez comment les modèles de langage découpent le texte en tokens à l'aide de BPE et d'autres algorithmes, et pourquoi la tokenisation influence tout, du coût aux capacités.
À la fin de cette leçon, tu comprendras :
Les réseaux de neurones travaillent avec des nombres. Ils ne peuvent pas lire le mot « bonjour » comme vous le faites. Avant qu'un modèle de langage puisse traiter du texte, celui-ci doit être découpé en petits morceaux numériques appelés tokens . Cette étape en apparence simple a des conséquences profondes sur la façon dont l'IA comprend - et ne comprend pas - le langage.
Tokenisation - Comment l'IA lit le texte fait partie de AI Sprouts
Tokenisation - Comment l'IA lit le texte fait partie de AI Sprouts. Passe à Pro pour débloquer la leçon complète, les quiz, le suivi de progression et toutes les académies.
Gratuit pendant 7 jours. Annulez quand vous voulez, sans justification.