Backpropagation

[esthicodes]

https://en.m.wikipedia.org/wiki/Backpropagation

Beim maschinellen Lernen ist Backpropagation ( backprop , [1] BP ) ein weit verbreiteter Algorithmus zum Trainieren von neuronalen Feedforward-Netzen . Verallgemeinerungen der Backpropagation existieren für andere künstliche neuronale Netze (KNNs) und für Funktionen im Allgemeinen. Diese Klassen von Algorithmen werden alle allgemein als "Backpropagation" bezeichnet. [2] Beim Anpassen eines neuronalen Netzwerks berechnet Backpropagation den Gradienten der Verlustfunktion in Bezug auf die Gewichte des Netzwerks für ein einzelnes Input-Output-Beispiel und tut dieseffizient , im Gegensatz zu einer naiven direkten Berechnung des Gradienten in Bezug auf jedes einzelne Gewicht. Diese Effizienz macht es möglich, Gradientenverfahren zum Trainieren von mehrschichtigen Netzwerken zu verwenden und Gewichtungen zu aktualisieren, um Verluste zu minimieren; Gewöhnlich werden Gradientenabstieg oder Varianten wie stochastischer Gradientenabstieg verwendet. Der Backpropagation-Algorithmus funktioniert, indem er den Gradienten der Verlustfunktion in Bezug auf jedes Gewicht durch die Kettenregel berechnet, den Gradienten Schicht für Schicht berechnet und von der letzten Schicht rückwärts iteriert , um redundante Berechnungen von Zwischentermen in der Kettenregel zu vermeiden; Dies ist ein Beispiel für dynamische Programmierung . [3]

[esthicodes]

Der Begriff Backpropagation bezieht sich streng genommen nur auf den Algorithmus zur Berechnung des Gradienten, nicht darauf, wie der Gradient verwendet wird; Der Begriff wird jedoch häufig lose verwendet, um sich auf den gesamten Lernalgorithmus zu beziehen, einschließlich der Verwendung des Gradienten, z. B. durch stochastischen Gradientenabstieg. [4] Backpropagation verallgemeinert die Gradientenberechnung in der Delta-Regel , die die einschichtige Version der Backpropagation ist, und wird wiederum durch automatische Differentiation verallgemeinert , wobei Backpropagation ein Spezialfall der Rückwärtsakkumulation (oder "Reverse Mode") ist. [5] Der Begriff Backpropagation und seine allgemeine Verwendung in neuronalen Netzen wurde in angekündigtRumelhart, Hinton & Williams (1986a) , dann ausgearbeitet und populär gemacht in Rumelhart, Hinton & Williams (1986b) , aber die Technik wurde viele Male unabhängig voneinander wiederentdeckt und hatte viele Vorgänger aus den 1960er Jahren; siehe § Geschichte . [6] Einen modernen Überblick gibt das Deep-Learning - Lehrbuch von Goodfellow, Bengio & Courville (2016) .