在深度學習成為標準之前，同時訓練多層模型非常困難。深度信念網路提供了一種解決方案，它透過堆疊受限玻爾茲曼機，貪婪地訓練每一層，然後對整個堆疊進行微調。

每一層都學習其下一層的表徵。頂層捕捉抽象特徵。由於訓練是逐層進行的，因此梯度不會像早期深度架構那樣消失。

結構和培訓

• 堆疊式受限玻爾茲曼機
• 無監督預訓練逐層進行
• 在標記資料上進行監督式微調
• 頂層的生成能力

DBN 在 2000 年代中期影響深遠，並幫助重新燃起了人們對深度架構的興趣。現代實踐使用 ReLU 網路、批量歸一化和更好的優化器，這些優化器採用端到端訓練方式，而無需貪婪的逐層訓練方法。