Antes de a aprendizagem profunda se tornar padrão, treinar muitas camadas simultaneamente era difícil. As redes de crença profunda ofereceram uma solução ao empilhar máquinas de Boltzmann restritas, treinando cada camada de forma gulosa e, em seguida, ajustando com precisão toda a pilha.

Cada camada aprende uma representação da camada abaixo. As camadas superiores captam características abstratas. Como o treino ocorre camada a camada, os gradientes não desaparecem como acontecia nas arquiteturas profundas anteriores.

Estrutura e formação

• Máquinas de Boltzmann restritas empilhadas
• Pré-treino não supervisionado camada a camada
• Ajuste fino supervisionado em dados rotulados
• Capacidades generativas no topo

As DBN foram influentes em meados dos anos 2000 e ajudaram a reavivar o interesse pelas arquiteturas profundas. A prática moderna utiliza redes ReLU, normalização em lote e melhores otimizadores, que treinam de ponta a ponta sem a abordagem gulosa camada a camada.