Πριν η βαθιά μάθηση γίνει το πρότυπο, η εκπαίδευση πολλών επιπέδων ταυτόχρονα ήταν δύσκολη. Τα δίκτυα βαθιάς πεποίθησης προσέφεραν έναν τρόπο να προχωρήσουμε, στοιβάζοντας περιορισμένες μηχανές Boltzmann, εκπαιδεύοντας κάθε επίπεδο με απληστία και στη συνέχεια βελτιώνοντας ολόκληρη τη στοίβα.

Κάθε επίπεδο μαθαίνει μια αναπαράσταση του από κάτω. Τα επάνω επίπεδα καταγράφουν αφηρημένα χαρακτηριστικά. Επειδή η εκπαίδευση γίνεται επίπεδο προς επίπεδο, οι διαβαθμίσεις δεν εξαφανίζονται όπως συνέβαινε σε προηγούμενες αρχιτεκτονικές deep.

Δομή και εκπαίδευση

• Στοιβαγμένες περιορισμένες μηχανές Boltzmann
• Μη επιβλεπόμενη προεκπαίδευση, στρώση προς στρώση
• Εποπτευόμενη βελτιστοποίηση σε δεδομένα με ετικέτα
• Γενετικές ικανότητες στην κορυφή

Τα DBN είχαν μεγάλη επιρροή στα μέσα της δεκαετίας του 2000 και βοήθησαν στην αναζωογόνηση του ενδιαφέροντος για τις αρχιτεκτονικές βάθους. Η σύγχρονη πρακτική χρησιμοποιεί δίκτυα ReLU, κανονικοποίηση παρτίδων και καλύτερους βελτιστοποιητές, οι οποίοι εκπαιδεύουν από άκρο σε άκρο χωρίς την άπληστη προσέγγιση σε επίπεδα.