Voordat deep learning de standaard werd, was het lastig om veel lagen tegelijk te trainen. Deep belief networks boden een oplossing door restricted Boltzmann machines te stapelen, elke laag op een gierige manier te trainen en vervolgens de hele stapel te finetunen.

Elke laag leert een representatie van de laag eronder. De bovenste lagen leggen abstracte kenmerken vast. Omdat de training laag per laag plaatsvindt, verdwijnen de gradiënten niet zoals in eerdere diepe architecturen.

Structuur en training

• Gestapelde beperkte Boltzmann-machines
• Ongecontroleerde voorbereiding laag per laag
• Begeleide finetuning op gelabelde data
• Generatieve mogelijkheden aan de top

DBN's waren invloedrijk in het midden van de jaren 2000 en hielpen de interesse in diepe architecturen nieuw leven in te blazen. De moderne praktijk maakt gebruik van ReLU-netwerken, batchnormalisatie en betere optimalisatiealgoritmen, die end-to-end trainen zonder de gierige laag-voor-laag-aanpak.