Antes de que el aprendizaje profundo se convirtiera en la norma, entrenar muchas capas a la vez era difícil. Las redes de creencias profundas ofrecieron una solución al apilar máquinas de Boltzmann restringidas, entrenando cada capa de forma voraz y luego ajustando con precisión toda la pila.

Cada capa aprende una representación de la capa inferior. Las capas superiores capturan características abstractas. Dado que el entrenamiento se realiza capa por capa, los gradientes no desaparecen como ocurría en las arquitecturas profundas anteriores.

Estructura y formación

• Máquinas de Boltzmann restringidas apiladas
• Preentrenamiento no supervisado capa por capa
• Ajuste fino supervisado en datos etiquetados
• Capacidades generativas en la cima

Las redes neuronales profundas (DBN) fueron influyentes a mediados de la década de 2000 y contribuyeron a reavivar el interés por las arquitecturas profundas. La práctica moderna utiliza redes ReLU, normalización por lotes y mejores optimizadores, que entrenan de extremo a extremo sin el enfoque voraz por capas.