Derin öğrenme standart hale gelmeden önce, birçok katmanı aynı anda eğitmek zordu. Derin inanç ağları, kısıtlı Boltzmann makinelerini üst üste yığarak, her katmanı açgözlü bir şekilde eğiterek ve ardından tüm yığını ince ayar yaparak bir çözüm yolu sundu.

Her katman, altındaki katmanın bir temsilini öğrenir. En üst katmanlar soyut özellikleri yakalar. Eğitim katman katman gerçekleştiği için, gradyanlar önceki derin öğrenme mimarilerinde olduğu gibi kaybolmaz.

Yapı ve eğitim

• Üst üste dizilmiş kısıtlı Boltzmann makineleri
• Katman katman denetimsiz ön eğitim
• Etiketli veriler üzerinde denetimli ince ayar
• En üst düzeyde üretken yetenekler

DBN'ler 2000'li yılların ortalarında etkili oldu ve derin mimarilere olan ilgiyi yeniden canlandırmaya yardımcı oldu. Modern uygulamalarda ReLU ağları, toplu normalleştirme ve daha iyi optimize ediciler kullanılır; bu da açgözlü katman bazlı yaklaşımdan ziyade uçtan uca eğitim sağlar.