Sebelum pembelajaran mendalam menjadi standar, melatih banyak lapisan sekaligus itu sulit. Jaringan kepercayaan mendalam menawarkan jalan keluar dengan menumpuk mesin Boltzmann terbatas, melatih setiap lapisan secara serakah, lalu menyempurnakan seluruh tumpukan.

Setiap lapisan mempelajari representasi dari lapisan di bawahnya. Lapisan teratas menangkap fitur abstrak. Karena pelatihan terjadi lapis demi lapis, gradien tidak hilang seperti pada arsitektur deep learning sebelumnya.

Struktur dan pelatihan

• Mesin Boltzmann terbatas bertumpuk
• Pelatihan awal tanpa pengawasan lapis demi lapis
• Penyempurnaan terawasi pada data berlabel
• Kemampuan generatif di tingkat teratas

DBN (Deep Bayesian Network) berpengaruh pada pertengahan tahun 2000-an dan membantu menghidupkan kembali minat pada arsitektur deep learning. Praktik modern menggunakan jaringan ReLU, normalisasi batch, dan optimizer yang lebih baik, yang melatih secara end-to-end tanpa pendekatan layerwise yang serakah.