Gradiëntafdaling - Bergafwaarts Rollen

Met een gedefinieerde verliesfunctie kunnen we het verlieslandschap visualiseren - een oppervlak waar elk punt een set gewichten vertegenwoordigt en de hoogte het verlies is. Trainen betekent het diepste dal vinden.

Gradiëntafdaling is het algoritme dat ons daar brengt:

1. Bereken de gradiënt (helling) op de huidige positie.
2. Zet een stap in de tegenovergestelde richting (bergafwaarts).
3. Herhaal.

De grootte van elke stap wordt bepaald door de leersnelheid - misschien wel de belangrijkste hyperparameter in deep learning.

Het Leersnelheidsdilemma

• Te hoog: Je schiet over het dal heen, stuitert heen en weer of divergeert volledig.
• Te laag: Je kruipt pijnlijk langzaam vooruit en kan vastlopen in een ondiep lokaal minimum.
• Precies goed: Je convergeert gestaag naar een goede oplossing.

Varianten van Gradiëntafdaling

Batch Gradiëntafdaling

Berekent de gradiënt op basis van de volledige dataset vóór elke update. Nauwkeurig maar pijnlijk langzaam voor grote datasets - stel je voor dat je elk boek in een bibliotheek opnieuw moet lezen voordat je één spelfout mag corrigeren.

Stochastische Gradiëntafdaling (SGD)

Werkt gewichten bij na elk afzonderlijk voorbeeld. Snel maar lawaaierig - het pad zigzagt wild. Het lawaai kan juist helpen om aan lokale minima te ontsnappen, wat een verrassend voordeel is.

Mini-Batch Gradiëntafdaling

De praktische gulden middenweg. Berekent gradiënten op een kleine batch (doorgaans 32–512 voorbeelden). Brengt snelheid en stabiliteit in balans, en is wat vrijwel alle moderne training gebruikt.

Moderne Optimalisatoren

Gewone SGD heeft beperkingen. Onderzoekers hebben slimmere optimalisatoren ontwikkeld die zich aanpassen terwijl ze werken.

SGD met Momentum

Net als een zware bal die bergafwaarts rolt, bouwt momentum snelheid op in consistente richtingen en dempt oscillaties. Als de gradiënt steeds dezelfde kant op wijst, versnelt momentum. Als de richting steeds verandert, vlakt momentum het af.

AdaGrad

Past de leersnelheid per parameter aan. Vaak bijgewerkte gewichten krijgen kleinere stappen; zelden bijgewerkte gewichten krijgen grotere stappen. Uitstekend voor schaarse data (zoals tekst), maar de leersnelheid kan na verloop van tijd krimpen tot nul.

Adam (Adaptive Moment Estimation)

Combineert momentum en per-parameter adaptieve snelheden. Het houdt lopende gemiddelden bij van zowel de gradiënt (eerste moment) als de gekwadrateerde gradiënt (tweede moment). Adam is de standaardkeuze voor de meeste beoefenaars vandaag.

Leersnelheidsschema's

In plaats van de leersnelheid vast te zetten, wordt bij moderne training vaak een schema gehanteerd:

• Stapgewijze afname: Halveer de snelheid elke N epochs.
• Cosinus-annealing: Laat geleidelijk afnemen volgens een cosinuscurve, soms met warme herstarts.
• Opwarming: Begin met een kleine snelheid, verhoog geleidelijk en laat dan afnemen. Wordt gebruikt bij Transformer-training.

De intuïtie: neem grote stappen in het begin om breed te verkennen, en daarna kleine stappen om fijn af te stellen.

Gradiënt-Clipping - Vangrails

Soms exploderen gradiënten (zoals we zagen in de les over backpropagation). Gradiënt-clipping beperkt de grootte van de gradiënt vóór de updatestap. Als de gradiënt een drempelwaarde overschrijdt, wordt deze proportioneel verkleind. Dit is standaardpraktijk bij het trainen van RNN's en Transformers.

Belangrijkste Punten

• Verliesfuncties kwantificeren hoe fout een model zit - MSE voor regressie, cross-entropy voor classificatie.
• Gradiëntafdaling minimaliseert het verlies door herhaaldelijk een stap te zetten tegengesteld aan de gradiënt.
• De leersnelheid bepaalt de stapgrootte en is cruciaal om goed in te stellen.
• Adam is de meestgebruikte optimalisator, die momentum en adaptieve snelheden combineert.
• Leersnelheidsschema's en gradiënt-clipping zijn essentiële stabilisatoren voor het trainingsproces.

📚 Verder Lezen

• Andrej Karpathy - A Recipe for Training Neural Networks - Praktische wijsheid over het debuggen van verlies en het kiezen van een optimalisator
• 3Blue1Brown - Gradient Descent - Prachtige visuele intuïtie over hoe gradiëntafdaling door verlieslandschappen navigeert
• An Overview of Gradient Descent Optimisation Algorithms (Ruder, 2016) - Uitgebreide vergelijking van SGD, Adam en aanverwanten