Leer hoe transformatorarchitectuur werkt, van aandachtsmechanismen tot encoder-decodermodellen. Begrijp de technologie die ChatGPT, BERT en moderne AI aandrijft.
Elke keer dat u ChatGPT een vraag stelt, een zin vertaalt met Google Translate of een codesuggestie krijgt van GitHub Copilot, bent u getuige van de kracht van transformatoren in actie. De transformatorarchitectuur, geïntroduceerd in 2017, is uitgegroeid tot de belangrijkste innovatie in de moderne kunstmatige intelligentie. In dit artikel leer je precies hoe transformatoren werken, waarom ze oudere benaderingen hebben vervangen en hoe ze de AI-tools aandrijven die miljoenen mensen dagelijks gebruiken. Of je nu een ambitieuze datawetenschapper bent of gewoon nieuwsgierig bent naar de technologie achter de AI-revolutie, deze gids zal complexe concepten opsplitsen in duidelijke, verteerbare verklaringen.
Om te begrijpen waarom transformatoren zo belangrijk zijn, helpt het om te begrijpen wat eraan voorafging.
Vóór Transformers waren de dominante architecturen voor het verwerken van taal Recurrent Neural Networks (RNNs) en hun verbeterde variant, Long Short-Term Memory Networks (LSTMs). Deze modellen verwerkten de tekst woord voor woord, op volgorde, net zoals je een boek van links naar rechts leest, zonder ooit vooruit te springen of achterom te kijken.
Deze opeenvolgende verwerking veroorzaakte twee grote problemen. Ten eerste was het tergend langzaam. Omdat elk woord moest wachten tot het vorige woord was verwerkt, kostte het trainen op grote datasets enorm veel tijd. Ten tweede worstelden RNN's met afhankelijkheden op lange termijn. Als een woord aan het begin van een alinea belangrijk was voor het begrijpen van een woord aan het eind, 'vergat' het model vaak die eerdere context tegen de tijd dat het bij het latere woord kwam. Stel je voor dat je probeert de eerste zin van een roman te onthouden terwijl je het laatste hoofdstuk leest. Dat was de fundamentele uitdaging.
In 2017 publiceerde een team van onderzoekers bij Google een artikel met de titel "Attention Is All You Need," en het veranderde alles. Het artikel introduceerde de transformatorarchitectuur, die sequentiële verwerking volledig achterwege liet. In plaats van woorden één voor één te lezen, verwerken transformatoren alle woorden in een zin tegelijkertijd en gebruiken ze een mechanisme dat 'aandacht' wordt genoemd om erachter te komen welke woorden het meest relevant voor elkaar zijn.
Deze parallelle verwerking zorgde ervoor dat transformatoren aanzienlijk sneller konden worden getraind. Belangrijker nog is dat het aandachtsmechanisme het probleem van afhankelijkheid op lange termijn op elegante wijze heeft opgelost. Het resultaat was een architectuur die zo krachtig en flexibel is dat deze nu de basis vormt van vrijwel elk groot AI-systeem, van grote taalmodellen tot beeldgeneratoren.
Belangrijkste inzichten: Transformers hebben langzame, vergeetachtige sequentiële modellen vervangen door snelle, parallelle verwerking die elk woord aan elk ander woord in een zin kan relateren, ongeacht de afstand.
Het aandachtsmechanisme is het hart van de transformator. Om het te begrijpen, overweeg deze analogie.
Stel je voor dat je een mysterieroman aan het lezen bent en je komt de zin tegen: "De detective pakte het vergrootglas op dat ze op tafel had laten liggen." Wanneer je het woord 'zij' leest, springen je hersenen automatisch terug naar 'detective' om te begrijpen naar wie 'zij' verwijst. Je besteedt niet aan elk woord evenveel aandacht. Je woont de meest relevante bij.
Dat is precies wat het aandachtsmechanisme doet. Voor elk woord in een zin berekent het programma hoeveel "aandacht" er aan elk ander woord moet worden besteed. Dit levert een gewogen combinatie op waarbij relevante woorden meer bijdragen aan het uiteindelijke begrip.
Het mechanisme van aandacht is gebaseerd op drie concepten: Query, Sleutel en Waarde. Zie het als zoeken in een bibliotheek.
Wanneer u met uw vraag de bibliotheek binnenloopt, vergelijkt u deze met elke sleutel (boeketiket). Hoe beter de match tussen jouw vraag en een sleutel, hoe meer aandacht je besteedt aan de waarde (inhoud) van dat boek. Een boek met de titel 'Climate Science' krijgt veel aandacht. ‘Oude geschiedenis’ krijgt heel weinig.
In een transformator genereert elk woord zijn eigen vraag-, sleutel- en waardevectoren. De zoekopdracht van elk woord wordt vergeleken met de sleutel van elk ander woord om aandachtsscores te verkrijgen. Deze scores bepalen hoeveel van de waarde van elk woord wordt gemengd in de uiteindelijke representatie. Het resultaat is een rijk, contextbewust begrip van elk woord in de zin.
Laten we zelfaandacht eens doornemen met een concreet voorbeeld. Denk eens aan de zin: "De kat zat op de mat omdat hij moe was."
Stap 1: Genereer Q-, K-, V-vectoren. Elk woord wordt omgezet in drie vectoren (query, sleutel, waarde) met behulp van aangeleerde gewichtsmatrices. Dit zijn slechts wiskundige projecties van de inbedding van het woord.
Stap 2: Bereken aandachtsscores. Voor het woord 'it' berekent het model een score tussen de zoekopdracht 'it' en de sleutel van elk ander woord. De score voor 'kat' zal hoog zijn omdat 'het' naar de kat verwijst. De score voor 'aan' zal laag zijn omdat dit niet semantisch relevant is.
Stap 3: Pas softmax toe. De onbewerkte scores worden doorgegeven aan een softmax-functie, waardoor ze worden omgezet in kansen die opgeteld 1 zijn. Hierdoor ontstaat een verdeling: misschien krijgt 'kat' een gewicht van 0,65, krijgt 'moe' 0,15 en delen de overige woorden de rest.
Stap 4: Bereken de gewogen som. Het model vermenigvuldigt de waardevector van elk woord met het aandachtsgewicht en telt ze allemaal bij elkaar op. De resulterende vector voor 'it' wordt nu sterk beïnvloed door de informatie van 'cat', wat precies het contextuele begrip is dat we nodig hebben.
Dit proces gebeurt voor elk woord tegelijkertijd, waardoor het model in één keer een rijke, onderling verbonden representatie van de hele zin kan opbouwen.
Belangrijkste inzichten: Door zelfaandacht kan elk woord naar elk ander woord in de zin "kijken", waardoor automatisch wordt geleerd welke woorden het meest relevant voor elkaar zijn.
Een enkele aandachtsberekening legt één type relatie tussen woorden vast. Maar taal is complex. Het woord 'bank' moet mogelijk aandacht besteden aan 'rivier' vanwege de betekenis ervan, aan 'de' vanwege de grammaticale structuur, en aan 'overstroomd' vanwege de bredere context. Eén aandachtshoofd kan niet al deze relaties tegelijkertijd vastleggen.
De oplossing is multi-head aandacht. In plaats van de aandacht één keer te berekenen, voert de transformator meerdere aandachtsbewerkingen parallel uit, elk met zijn eigen set aangeleerde Q-, K- en V-gewichtsmatrices. Zie het als het samenstellen van een panel van experts om hetzelfde document te beoordelen. Eén expert richt zich op grammatica en syntaxis. Een ander richt zich op semantische betekenis. Een derde zoekt naar coreferentie (waar ‘het’ of ‘zij’ naar verwijst). Elke deskundige merkt iets anders.
In de praktijk kan een typische transformator 8, 12 of zelfs 128 aandachtskoppen gebruiken. Nadat alle hoofden hun resultaten onafhankelijk hebben berekend, worden hun resultaten samengevoegd en door een lineaire laag geprojecteerd om de uiteindelijke aandachtsoutput te produceren.
Deze benadering vanuit meerdere perspectieven is een belangrijke reden waarom transformatoren zo effectief zijn. Ze begrijpen niet slechts één aspect van taal tegelijk. Ze leggen grammatica, betekenis, referentie en context in één keer vast.
Nu je de aandacht begrijpt, zoomen we uit en kijken hoe de complete transformator in elkaar wordt gezet.
De encoder neemt de invoerreeks en bouwt er een diepgaande, gecontextualiseerde weergave van. Het bestaat uit een stapel identieke lagen (meestal 6 of 12), elk met twee sublagen: een zelfaandachtsmechanisme met meerdere koppen, gevolgd door een positiegewijs feed-forward-netwerk.
De encoder leest de volledige invoer in één keer, waardoor elk woord met elk ander woord rekening kan houden. Tegen de tijd dat gegevens door alle encoderlagen gaan, heeft het model een rijk begrip van de invoer dat betekenis, context en relaties vastlegt.
De decoder genereert de uitvoerreeks één token tegelijk. Het bestaat ook uit een stapel identieke lagen, maar met een belangrijke toevoeging: een cross-attention-laag die zorgt voor de uitvoer van de encoder. Dit is hoe de decoder de originele invoer "leest" terwijl hij nieuwe tekst genereert.
De decoder maakt ook gebruik van gemaskeerde zelfaandacht, waardoor toekomstige tokens niet zichtbaar zijn tijdens het genereren. Bij het voorspellen van het volgende woord kan het model alleen kijken naar woorden die het al heeft gegenereerd, niet naar woorden die later komen. Dit zorgt ervoor dat het generatieproces causaal en autoregressief blijft.
Omdat transformatoren alle woorden tegelijkertijd verwerken, hebben ze geen ingebouwd gevoel voor woordvolgorde. De zin "hond bijt man" en "man bijt hond" zouden er identiek uitzien zonder enige manier om de positie te coderen. Positionele codering lost dit op door een uniek signaal toe te voegen aan de inbedding van elk woord op basis van zijn positie in de reeks. Het originele artikel gebruikte sinus- en cosinusfuncties van verschillende frequenties, waardoor voor elke positie een duidelijk patroon ontstond dat het model kan leren interpreteren.
Elke transformatorlaag bevat ook restverbindingen (snelkoppelingen die de gradiënten helpen stromen tijdens de training) en laagnormalisatie (die het leerproces stabiliseert). De feed-forward-netwerken binnen elke laag voegen extra verwerkingskracht toe, waardoor het model complexe niet-lineaire transformaties kan leren.
Belangrijkste inzichten: De volledige transformator combineert zelfaandacht, kruisaandacht, positionele codering en feed-forward-netwerken tot een krachtige architectuur die taal zowel kan begrijpen als genereren.
De originele transformator gebruikte zowel een encoder als een decoder. Maar onderzoekers ontdekten al snel dat het gebruik van slechts de helft uiterst effectief kon zijn voor specifieke taken.
BERT (Bidirectionele Encoder Representations from Transformers) gebruikt alleen de encoder. Het leest tekst tegelijkertijd in beide richtingen, waardoor een diep bidirectioneel begrip van taal ontstaat. Tijdens de training maakt BERT gebruik van een techniek genaamd masked Language Modeling: willekeurige woorden in een zin worden verborgen en het model leert deze te voorspellen vanuit de omringende context.
Deze bidirectionele aanpak maakt BERT uitzonderlijk bij taken waarbij het begrijpen van bestaande tekst vereist is. Het blinkt uit in tekstclassificatie, sentimentanalyse, zoekrangschikking en het beantwoorden van vragen. Toen Google in 2019 zijn zoekmachine verbeterde, was BERT de technologie erachter.
GPT (Generative Pre-trained Transformer) gebruikt alleen de decoder. Het leest de tekst van links naar rechts en leert via volgende-tokenvoorspelling: voorspel, gegeven alle voorgaande woorden, de volgende. Dit ogenschijnlijk eenvoudige doel levert, wanneer het op grote schaal wordt toegepast, modellen op die essays kunnen schrijven, vragen kunnen beantwoorden, code kunnen schrijven en gesprekken kunnen voeren.
Het autoregressieve karakter van GPT maakt het ideaal voor generatieve taken. ChatGPT, GitHub Copilot en vele creatieve AI-tools zijn allemaal gebouwd op GPT-achtige architecturen.
| Kenmerk | BERT (encoder) | GPT (decoder) | |---------|----------------|--------------| | Richting | Bidirectioneel | Van links naar rechts | | Opleiding | Gemaskerde taalmodellering | Voorspelling van het volgende token | | Sterke punten | Begrijpen, classificatie | Generatie, gesprek | | Voorbeelden | Google Zoeken, spamdetectie | ChatGPT, Copiloot |
De transformatorarchitectuur heeft tot doorbraken geleid die veel verder gaan dan alleen chatbots.
Conversationele AI. ChatGPT, Claude en Gemini zijn allemaal op transformatoren gebaseerde modellen die genuanceerde, meervoudige gesprekken kunnen voeren, complexe vragen kunnen beantwoorden en kunnen helpen bij creatieve en analytische taken.
Code genereren. GitHub Copilot gebruikt transformermodellen die zijn getraind in uitgebreide codeopslagplaatsen om volledige functies voor te stellen, bugs op te lossen en zelfs onbekende code uit te leggen. Ontwikkelaars over de hele wereld gebruiken het om hun workflows dagelijks te versnellen.
Beeld genereren en begrijpen. Vision Transformers (ViTs) passen hetzelfde aandachtsmechanisme toe op beeldvlakken in plaats van op woorden. Modellen als DALL-E en Stable Diffusion gebruiken transformatorcomponenten om afbeeldingen te genereren uit tekstbeschrijvingen, waardoor de grens tussen taal en visie vervaagt.
Wetenschappelijk onderzoek. AlphaFold 2 van DeepMind maakte gebruik van op transformatoren gebaseerde aandacht om de voorspelling van de eiwitstructuur op te lossen, een probleem dat biologen al tientallen jaren met stomheid geslagen heeft. Deze doorbraak heeft de ontdekking van geneesmiddelen en ons begrip van ziekten versneld.
De veelzijdigheid van transformatoren komt voort uit hun fundamentele ontwerp. Het maakt de aandacht niet uit of de invoer uit woorden, pixels, aminozuren of muzieknoten bestaat. Als de gegevens als een reeks kunnen worden weergegeven, kunnen transformatoren ervan leren.
Transformers zijn krachtig, maar niet zonder uitdagingen. Het aandachtsmechanisme heeft kwadratische complexiteit, wat betekent dat een verdubbeling van de invoerlengte de vereiste berekening verviervoudigt. Het verwerken van zeer lange documenten of afbeeldingen met een hoge resolutie blijft duur.
Onderzoekers werken actief aan oplossingen. Mixture of Experts (MoE)-modellen, zoals die worden gebruikt in GPT-4 en Mixtral, activeren slechts een subset van de modelparameters voor elke invoer, waardoor de efficiëntie dramatisch wordt verbeterd. State-space-modellen zoals Mamba bieden een alternatieve aanpak die reeksen met lineaire complexiteit verwerkt met behoud van sterke prestaties.
Multimodale transformatoren vertegenwoordigen een andere opwindende grens. Deze modellen kunnen tekst, afbeeldingen, audio en video verwerken binnen één enkele architectuur, waardoor we dichter bij AI-systemen komen die de wereld waarnemen en erover redeneren zoals mensen dat doen.
Ondanks deze innovaties is de kerntransformatorarchitectuur opmerkelijk veerkrachtig gebleken. Veel nieuwe benaderingen bouwen voort op de aandacht in plaats van deze te vervangen. Het begrijpen van transformatoren gaat niet alleen over het begrijpen van de huidige AI. Het gaat over het begrijpen van de basis waarop de AI van morgen zal worden gebouwd.
Belangrijkste inzichten: De transformatorarchitectuur blijft evolueren door efficiëntieverbeteringen en multimodale mogelijkheden, maar de kernprincipes van aandacht en parallelle verwerking blijven centraal staan in de vooruitgang van AI.
Het begrijpen van transformatoren is een cruciale stap in uw AI-reis, maar er valt nog zoveel meer te ontdekken. De concepten die je hier hebt geleerd, waaronder aandachtsmechanismen, encoder-decoder-architecturen en de verschillen tussen BERT en GPT, vormen de basis voor geavanceerde onderwerpen zoals verfijning, versterkend leren van menselijke feedback (RLHF) en het bouwen van je eigen AI-applicaties.
Klaar om verder te gaan? Hier ziet u hoe AI Educademy u kan helpen:
AI Canopy is ons geavanceerde deep learning-programma waarin je helemaal opnieuw transformatormodellen bouwt, aandachtsmechanismen in code implementeert en de wiskunde achter de modernste architecturen begrijpt. Als dit artikel uw nieuwsgierigheid heeft aangewakkerd, zal AI Canopy die nieuwsgierigheid omzetten in expertise.
AI Branches biedt gespecialiseerde leertrajecten op gebieden als natuurlijke taalverwerking, computervisie en generatieve AI. Kies het pad dat aansluit bij uw carrièredoelen en leer van praktijkmensen die productie-AI-systemen bouwen.
Ontdek alle programma's om het juiste startpunt voor uw vaardigheidsniveau te vinden, van fundamentele AI-geletterdheid tot geavanceerde techniek.
De AI-revolutie is gebouwd op transformatoren, en jouw begrip van deze architectuur zorgt ervoor dat jij voorop loopt. De volgende stap is om van begrijpen naar bouwen te gaan. Wij helpen je graag om daar te komen.
Probeer de eerste les van elke academy gratis en ontgrendel daarna elke resterende les, elk project en elk certificaat met Pro.
Top 30 AI-interviewvragen en antwoorden voor 2026
Bereid u voor op uw AI-sollicitatiegesprek met 30 essentiële vragen en gedetailleerde antwoorden – over onderwerpen voor beginners, gevorderden en gevorderden.
AI versus machine learning versus deep learning: wat is het verschil?
Begrijp de duidelijke verschillen tussen AI, Machine Learning en Deep Learning – met definities, een visuele gids, vergelijkingstabel en echte voorbeelden.
Computervisie uitgelegd: hoe AI afbeeldingen ziet en begrijpt
Ontdek hoe computer vision werkt, van CNN's tot objectdetectie. Ontdek toepassingen uit de praktijk op het gebied van autonoom rijden, medische beeldvorming, detailhandel en meer.