Strings en tekstverwerking

Waarom Tokenisatie Belangrijk Is

• Een typisch taalmodel heeft een vocabulaire van 50.000–100.000 tokens.
• Elk token wordt omgezet naar een nummer (zijn ID), dat het model daadwerkelijk verwerkt.
• De manier waarop tekst getokeniseerd wordt beïnvloedt de kosten - meer tokens betekent meer berekening en hogere API-kosten.

Patroonherkenning - Naalden Vinden in Hooibergen

Een kernbewerking op strings is het zoeken van een patroon in een grotere tekst. Bevat deze e-mail het woord "urgent"? Bevat deze code een beveiligingslek?

De Eenvoudige Aanpak

Schuif het patroon langs de tekst, controleer karakter voor karakter:

tekst:   "the cat sat on the mat"
patroon: "cat"

Positie 0: "the" → geen match
Positie 1: "he " → geen match
Positie 4: "cat" → match gevonden op index 4!

Dit is O(n × m) in het slechtste geval. Voor korte patronen is het prima. Voor het scannen van miljoenen documenten hebben we slimmere aanpakken nodig.

Klassieke String-Uitdagingen

String Omkeren

reverse("hello") → "olleh"

AI gebruikt omkering in sequence-to-sequence modellen - sommige vroege vertaalmodellen keerden de invoerzin om voor betere nauwkeurigheid.

Palindroomdetectie

Een palindroom leest hetzelfde van voor naar achter: "racecar", "madam", "level".

is_palindrome(text):
    return text == reverse(text)

Anagramdetectie

Twee woorden zijn anagrammen als ze dezelfde karakters bevatten in een andere volgorde: "listen" en "silent".

are_anagrams(word1, word2):
    return character_counts(word1) == character_counts(word2)

Dit sluit aan bij het frequentietelpatroon uit de vorige les - hash maps maken het O(n).

Reguliere Expressies - Patroonherkenning op Steroïden

| Patroon | Matcht | Toepassing | |---------|--------|------------| | \d+ | Een of meer cijfers | Getallen extraheren | | [A-Z][a-z]+ | Een woord met hoofdletter | Eigennamen vinden | | \b\w+@\w+\.\w+\b | E-mailadressen | Data-extractie | | (cat\|dog\|bird) | Een van drie woorden | Classificatietrefwoorden |

AI-datapipelines gebruiken regex uitgebreid voor datacleaning - HTML-tags verwijderen, datums extraheren en ongewenste tekens wegfilteren.

Echte AI-Tekstverwerkingspipeline

1. Ruwe tekst → "The café's Wi-Fi isn't working!!!"
2. Kleine letters → "the café's wi-fi isn't working!!!"
3. Leestekens verwijderen → "the cafés wifi isnt working"
4. Tokenisatie → ["the", "café", "s", "wi", "fi", "isn", "t", "working"]
5. Token-ID's → [1, 8432, 82, 5901, 3344, 2817, 83, 1562]
6. Het model in → Getallen die de AI kan verwerken

Elke stap omvat stringbewerkingen - knippen, zoeken, vervangen en splitsen.

Belangrijkste Punten

• Strings zijn reeksen karakters - het ruwe materiaal voor alle tekst-gebaseerde AI.
• Tokenisatie vormt de brug tussen menselijke taal en machine learning.
• Patroonherkenning en regex zijn essentieel voor het opschonen en extraheren van data.
• Klassieke stringproblemen bouwen het denkvermogen voor AI-tekstverwerking.
• Elk bericht dat je naar ChatGPT stuurt doorloopt een pipeline van stringbewerkingen.