Než se hluboké učení stalo standardem, bylo trénování mnoha vrstev najednou obtížné. Hluboké sítě víry nabízely cestu vpřed vrstvením omezených Boltzmannových strojů, chamtivým trénováním každé vrstvy a následným dolaďováním celého zásobníku.

Každá vrstva se učí reprezentaci vrstvy pod ní. Vrchní vrstvy zachycují abstraktní prvky. Protože trénování probíhá vrstvu po vrstvě, přechody nemizí, jako tomu bylo v dřívějších hlubokých architekturách.

Struktura a školení

• Stohované omezené Boltzmannovy stroje
• Nedohlížený předtrénink vrstva po vrstvě
• Dohlížené jemné doladění na označených datech
• Generativní schopnosti na vrcholu

DBN měly vliv v polovině prvního desetiletí 21. století a pomohly oživit zájem o hluboké architektury. Moderní praxe využívá sítě ReLU, dávkovou normalizaci a lepší optimalizátory, které trénují end-to-end bez chamtivého přístupu po vrstvách.