Backpropagation
Backpropagation - De Motor van het Leren
In de vorige lessen heb je gezien dat neurale netwerken gewichten hebben, en dat training die gewichten aanpast. Maar hoe weet het netwerk welke gewichten het moet veranderen, en met hoeveel? Het antwoord is backpropagation - het allerbelangrijkste algoritme in moderne deep learning.
Andrej Karpathy noemt het "het belangrijkste dat je moet begrijpen over neurale netwerken." Laten we kijken waarom.
Een Snelle Herhaling van de Forward Pass
Tijdens een forward pass stroomt data van links naar rechts door het netwerk:
- Invoerwaarden worden vermenigvuldigd met gewichten en opgeteld.
- Een bias wordt toegevoegd.
- Een activeringsfunctie (zoals ReLU) wordt toegepast.
- De uitvoer gaat naar de volgende laag, en dit herhaalt zich totdat er een uiteindelijke voorspelling ontstaat.
De voorspelling wordt vervolgens vergeleken met het juiste antwoord via een verliesfunctie (behandeld in de volgende les). Het verlies is één enkel getal dat zegt: "Dit is hoe fout je zit."
Het Kernidee - Schuld Toewijzen
Stel je voor dat je een taart bakt en die vreselijk smaakt. Je hebt vijf ingrediënten gebruikt. De vraag is: welk ingrediënt droeg het meest bij aan de slechte smaak, en in welke mate?
Backpropagation beantwoordt precies deze vraag voor neurale netwerken. Het wijst schuld toe aan elk afzonderlijk gewicht door te vragen: "Als ik dit gewicht een klein beetje verschuif, hoeveel verandert het verlies dan?"
Die mate van verandering wordt een gradiënt genoemd, en die komt uit de calculus - meer specifiek de afgeleide.
Geoffrey Hinton, een van de "peetvaders van AI," heeft gezegd dat backpropagation het kernidee is dat deep learning praktisch toepasbaar maakte. Zonder dit zou het trainen van netwerken met miljoenen parameters rekenkundig onmogelijk zijn.
De Kettingregel - Eén Idee dat Alles Beheerst
Neurale netwerken zijn ketens van eenvoudige bewerkingen die samen worden gecombineerd. De kettingregel uit de calculus vertelt ons hoe we samengestelde functies moeten differentiëren:
Discussion
Sign in to join the discussion