Tokenisation
Tokenisation - Comment l'IA lit le texte
Les réseaux de neurones travaillent avec des nombres. Ils ne peuvent pas lire le mot « bonjour » comme vous le faites. Avant qu'un modèle de langage puisse traiter du texte, celui-ci doit être découpé en petits morceaux numériques appelés tokens. Cette étape en apparence simple a des conséquences profondes sur la façon dont l'IA comprend - et ne comprend pas - le langage.
Pourquoi l'IA ne peut-elle pas simplement lire des caractères ?
L'approche la plus simple : traiter chaque caractère comme un token. « Hello » devient ['H', 'e', 'l', 'l', 'o'] - cinq tokens.
Le problème ? Les mots deviennent des séquences absurdement longues. Un essai de 500 mots pourrait produire plus de 2 500 tokens de caractères. Comme les modèles Transformer ont une complexité quadratique par rapport à la longueur de la séquence, c'est un désastre en termes de calcul. Pire, les caractères individuels ne portent presque aucun sens - le modèle doit apprendre que 'c', 'h', 'a', 't' ensemble désignent un animal à fourrure.
Tokenisation au niveau des mots
L'extrême opposé : chaque mot est un token. « Le chat dort » devient ['Le', 'chat', 'dort'] - compact et porteur de sens.
Mais cela crée un problème différent : l'explosion du vocabulaire. Le français seul compte des centaines de milliers de mots. Ajoutez les fautes d'orthographe, le jargon technique et le code, et le vocabulaire devient ingérable. Tout mot absent du vocabulaire devient un token inconnu [UNK] - une impasse pour la compréhension.
Si un modèle utilisant des tokens au niveau des mots rencontre « ChatGPT » pour la première fois et que ce mot n'est pas dans le vocabulaire, il devient [UNK]. Comment cela pourrait-il affecter la capacité du modèle à parler de nouvelles technologies ?
Le juste milieu - La tokenisation en sous-mots
Les modèles de langage modernes utilisent la tokenisation en sous-mots, qui se situe entre les caractères et les mots. Les mots courants restent entiers (« the », « and »), tandis que les mots rares sont découpés en morceaux significatifs (« in » + « croyab » + « le »).
Cela nous donne un vocabulaire gérable (généralement 32 000 à 100 000 tokens) tout en étant capable de traiter n'importe quel texte - même des mots que le modèle n'a jamais vus.
Discussion
Sign in to join the discussion