Η εκπαίδευση ενός δικτύου απαιτεί να γνωρίζουμε πώς να προσαρμόζουμε κάθε βάρος. Η οπισθοδιάδοση το υπολογίζει αυτό. Εφαρμόζει τον κανόνα της αλυσίδας του λογισμού για να διαδώσει το σφάλμα από το επίπεδο εξόδου προς τα πίσω μέσω του δικτύου, αντιστοιχίζοντας μια διαβάθμιση σε κάθε βάρος στην πορεία.

Ο αλγόριθμος λειτουργεί σε δύο φάσεις. Μια περασμένη κίνηση προς τα εμπρός υπολογίζει τις προβλέψεις και την απώλεια. Μια περασμένη κίνηση προς τα πίσω υπολογίζει τις διαβαθμίσεις σε σχέση με κάθε παράμετρο. Ένας βελτιστοποιητής, όπως η στοχαστική κάθοδος διαβάθμισης, ενημερώνει στη συνέχεια τα βάρη προς την κατεύθυνση που μειώνει την απώλεια.

Βασικά βήματα

• Διέλευση προς τα εμπρός μέσω όλων των στρώσεων
• Υπολογισμός απώλειας σε σχέση με τους στόχους
• Πίσω πάσα εφαρμόζοντας τον κανόνα της αλυσίδας
• Ενημέρωση βαρών χρησιμοποιώντας διαβαθμίσεις

Η τεχνική έγινε δημοφιλής τη δεκαετία του 1980 και έκανε την βαθιά μάθηση πρακτική όταν συνδυάστηκε με ταχύτερο υλικό και καλύτερες συναρτήσεις ενεργοποίησης. Χωρίς αυτήν, η εκπαίδευση δικτύων πολλαπλών επιπέδων θα απαιτούσε δυσεπίλυτη αναζήτηση σε χώρο βαρών.