Chaînes de caractères et traitement de texte

Pourquoi la tokenisation compte

• Un modèle de langage typique a un vocabulaire de 50 000 à 100 000 tokens.
• Chaque token correspond à un nombre (son ID) que le modèle traite réellement.
• La manière dont le texte est tokenisé affecte le coût - plus de tokens signifie plus de calcul et des frais d'API plus élevés.

Pattern matching - Trouver l'aiguille dans la botte de foin

Une opération fondamentale sur les chaînes : chercher un motif dans un texte plus grand. Cet email contient-il le mot « urgent » ? Ce code contient-il une faille de sécurité ?

L'approche simple

Faire glisser le motif le long du texte, en vérifiant caractère par caractère :

text:    "the cat sat on the mat"
pattern: "cat"

Position 0: "the" → no match
Position 1: "he " → no match
Position 4: "cat" → match found at index 4!

C'est du O(n × m) dans le pire cas, avec n la longueur du texte et m celle du motif. Pour de courts motifs, ça va. Pour scanner des millions de documents, il faut des approches plus malignes.

Défis classiques sur les chaînes

Inversion de chaîne

reverse("hello") → "olleh"

L'IA utilise l'inversion dans les modèles séquence-à-séquence - certains modèles de traduction inversaient la phrase d'entrée pour améliorer la précision.

Détection de palindromes

Un palindrome se lit de la même façon dans les deux sens : « racecar », « madam », « level ».

is_palindrome(text):
    return text == reverse(text)

Détection d'anagrammes

Deux mots sont des anagrammes s'ils contiennent les mêmes caractères dans un ordre différent : « listen » et « silent ».

La solution élégante ? Compter les fréquences de caractères avec une hash map :

are_anagrams(word1, word2):
    return character_counts(word1) == character_counts(word2)

C'est directement lié au patron de comptage de fréquences de la leçon précédente - les hash maps rendent cela O(n).

Expressions régulières - Le pattern matching surpuissant

Les expressions régulières (regex) permettent de décrire des motifs plutôt que du texte exact :

| Motif | Correspond à | Cas d'usage | |-------|-------------|-------------| | \d+ | Un ou plusieurs chiffres | Extraire des nombres | | [A-Z][a-z]+ | Un mot capitalisé | Trouver des noms propres | | \b\w+@\w+\.\w+\b | Adresses email | Extraction de données | | (cat\|dog\|bird) | L'un des trois mots | Mots-clés de classification |

Les pipelines IA utilisent les regex massivement pour le nettoyage de données - supprimer les balises HTML, extraire des dates, standardiser des numéros de téléphone.

Pipeline réel de traitement de texte en IA

1. Texte brut → "The café's Wi-Fi isn't working!!!"
2. Mise en minuscules → "the café's wi-fi isn't working!!!"
3. Suppression de la ponctuation → "the cafés wifi isnt working"
4. Tokenisation → ["the", "café", "s", "wi", "fi", "isn", "t", "working"]
5. IDs de tokens → [1, 8432, 82, 5901, 3344, 2817, 83, 1562]
6. Vers le modèle → Des nombres que l'IA peut réellement traiter

Chaque étape implique des opérations sur les chaînes - découpe, recherche, remplacement et division.

Points clés à retenir

• Les chaînes sont des séquences de caractères - la matière première de toute IA textuelle.
• La tokenisation fait le pont entre le langage humain et l'apprentissage automatique.
• Le pattern matching et les regex sont essentiels pour nettoyer et extraire les données.
• Les problèmes classiques (inversion, palindromes, anagrammes) construisent les compétences nécessaires au traitement IA.
• Chaque message envoyé à ChatGPT passe par un pipeline d'opérations sur les chaînes avant que le modèle ne le voie.