ディープラーニングが普及する以前は、多数の層を同時に学習させるのは困難でした。ディープビリーフネットワークは、制限付きボルツマンマシンを積み重ね、各層を貪欲法で学習させ、最後にスタック全体を微調整することで、この課題を克服する道筋を示しました。

各層は、下位層の表現を学習します。最上位層は抽象的な特徴を捉えます。学習は層ごとに行われるため、以前の深層学習アーキテクチャのように勾配が消失することはありません。

組織構造とトレーニング

• スタック型制限ボルツマンマシン
• 教師なし事前学習（層ごと）
• ラベル付きデータに対する教師あり微調整
• トップレベルの生成能力

DBNは2000年代半ばに大きな影響力を持ち、ディープアーキテクチャへの関心を再び高めるのに貢献しました。現代の手法では、ReLUネットワーク、バッチ正規化、そして貪欲な層ごとのアプローチを用いずにエンドツーエンドで学習を行う、より優れたオプティマイザが用いられています。