Avant que l'apprentissage profond ne se généralise, entraîner simultanément de nombreuses couches était complexe. Les réseaux de croyances profondes ont offert une solution en empilant des machines de Boltzmann restreintes, en entraînant chaque couche de manière gloutonne, puis en affinant l'ensemble.

Chaque couche apprend une représentation de la couche inférieure. Les couches supérieures capturent des caractéristiques abstraites. Comme l'entraînement se fait couche par couche, les gradients ne disparaissent pas comme c'était le cas dans les architectures profondes précédentes.

Structure et formation

• Machines de Boltzmann restreintes empilées
• Pré-entraînement non supervisé couche par couche
• Réglage fin supervisé sur des données étiquetées
• Capacités génératives au sommet

Les réseaux bayésiens profonds (DBN) ont joué un rôle important au milieu des années 2000 et ont contribué à raviver l'intérêt pour les architectures profondes. La pratique moderne utilise des réseaux ReLU, la normalisation par lots et des optimiseurs plus performants, permettant un entraînement de bout en bout sans l'approche gloutonne couche par couche.