Trước khi học sâu trở nên phổ biến, việc huấn luyện nhiều lớp cùng một lúc rất khó khăn. Mạng niềm tin sâu (Deep belief networks) đã đưa ra một hướng đi bằng cách xếp chồng các máy Boltzmann hạn chế (restricted Boltzmann machines), huấn luyện từng lớp một cách tham lam, sau đó tinh chỉnh toàn bộ chồng máy.

Mỗi lớp học được biểu diễn của lớp bên dưới. Các lớp trên cùng thu thập các đặc trưng trừu tượng. Vì quá trình huấn luyện diễn ra từng lớp một, nên độ dốc không biến mất như trong các kiến ​​trúc mạng sâu trước đây.

Cấu trúc và đào tạo

• Máy Boltzmann hạn chế xếp chồng
• Huấn luyện trước không giám sát từng lớp một.
• Điều chỉnh tinh chỉnh có giám sát trên dữ liệu được gán nhãn
• Khả năng tạo sinh ở cấp cao nhất

Mạng Bayes động (DBN) có ảnh hưởng lớn vào giữa những năm 2000 và giúp khơi dậy sự quan tâm đến các kiến ​​trúc mạng sâu. Thực tiễn hiện đại sử dụng mạng ReLU, chuẩn hóa theo lô (batch normalization) và các thuật toán tối ưu hóa tốt hơn, cho phép huấn luyện từ đầu đến cuối mà không cần phương pháp tham lam từng lớp.