Das Training eines neuronalen Netzes erfordert die Kenntnis der korrekten Gewichtung. Die Backpropagation berechnet diese Anpassung. Sie wendet die Kettenregel der Differentialrechnung an, um den Fehler von der Ausgabeschicht rückwärts durch das Netzwerk zu propagieren und jedem Gewicht dabei einen Gradienten zuzuweisen.

Der Algorithmus arbeitet in zwei Durchläufen. Im Vorwärtsdurchlauf werden Vorhersagen und der Verlust berechnet. Im Rückwärtsdurchlauf werden die Gradienten bezüglich jedes Parameters berechnet. Ein Optimierungsverfahren wie der stochastische Gradientenabstieg aktualisiert dann die Gewichte in die Richtung, die den Verlust minimiert.

Wichtige Schritte

• Vorwärtsdurchlauf durch alle Schichten
• Berechnen Sie den Verlust gegenüber den Zielen
• Rückwärtspassage unter Anwendung der Kettenregel
• Gewichte mithilfe von Gradienten aktualisieren

Die Technik wurde in den 1980er Jahren populär und ermöglichte in Kombination mit schnellerer Hardware und besseren Aktivierungsfunktionen die praktische Anwendung von Deep Learning. Ohne sie wäre das Training mehrschichtiger Netzwerke eine praktisch unmögliche Suche im Gewichtsraum.