딥러닝이 보편화되기 전에는 여러 레이어를 한 번에 학습시키는 것이 어려웠습니다. 심층 신념 네트워크는 제한된 볼츠만 머신을 쌓아 올리고, 각 레이어를 탐욕적으로 학습시킨 다음 전체 스택을 미세 조정하는 방식으로 이러한 어려움을 극복할 수 있는 방법을 제시했습니다.

각 레이어는 바로 아래 레이어의 표현을 학습합니다. 최상위 레이어는 추상적인 특징을 포착합니다. 학습이 레이어별로 이루어지기 때문에, 이전의 심층 아키텍처에서처럼 기울기가 사라지지 않습니다.

구조 및 훈련

• 스택형 제한 볼츠만 머신
• 비지도 사전 학습을 계층별로 진행합니다.
• 레이블이 지정된 데이터에 대한 지도 미세 조정
• 최상위의 생성 능력

DBN은 2000년대 중반에 큰 영향을 미쳤으며 심층 신경망 아키텍처에 대한 관심을 다시 불러일으키는 데 기여했습니다. 현대에는 ReLU 활성화 함수, 배치 정규화, 그리고 더 나은 최적화 알고리즘이 사용되며, 이러한 알고리즘들은 계층별로 학습하는 탐욕적인 방식 없이 엔드투엔드 방식으로 학습합니다.