Mielőtt a mélytanulás szabvánnyá vált, sok réteg egyidejű betanítása nehéz volt. A mélyhitű hálózatok korlátozott Boltzmann-gépek egymásra rakásával, az egyes rétegek mohón történő betanításával, majd az egész rendszer finomhangolásával kínáltak előrelépést.

Minden réteg az alatta lévő réteg egy reprezentációját tanulja meg. A felső rétegek absztrakt jellemzőket rögzítenek. Mivel a betanítás rétegről rétegre történik, a színátmenetek nem tűnnek el, ahogy az a korábbi mély architektúrákban történt.

Szerkezet és képzés

• Halmozott korlátozott Boltzmann-gépek
• Felügyelet nélküli előképzés rétegről rétegre
• Felügyelt finomhangolás címkézett adatokon
• Generatív képességek a csúcson

A DBN-ek (mély architektúrák) nagy hatással voltak a 2000-es évek közepén, és segítettek feléleszteni az érdeklődést a mély architektúrák iránt. A modern gyakorlatban ReLU hálózatokat, kötegelt normalizálást és jobb optimalizálókat használnak, amelyek a mohó rétegenkénti megközelítés nélkül végzik a betanítást végponttól végpontig.