在深度学习成为标准之前，同时训练多层模型非常困难。深度信念网络提供了一种解决方案，它通过堆叠受限玻尔兹曼机，贪婪地训练每一层，然后对整个堆栈进行微调。

每一层都学习其下一层的表征。顶层捕捉抽象特征。由于训练是逐层进行的，因此梯度不会像早期深度架构那样消失。

结构和培训

• 堆叠式受限玻尔兹曼机
• 无监督预训练逐层进行
• 在标记数据上进行监督式微调
• 顶层的生成能力

DBN 在 2000 年代中期影响深远，并帮助重新燃起了人们对深度架构的兴趣。现代实践使用 ReLU 网络、批量归一化和更好的优化器，这些优化器采用端到端的训练方式，而无需贪婪的逐层训练方法。