Lấy một hàm đơn giản, xếp chồng nhiều bản sao và cho mỗi bản sao học. Mạng nơ-ron là sự kết hợp của các lớp, trong đó mỗi lớp áp dụng trọng số, độ lệch và hàm phi tuyến tính. Quá trình huấn luyện điều chỉnh các trọng số đó để phù hợp với dữ liệu.

Thiết kế này lấy cảm hứng một cách tương đối từ các tế bào thần kinh sinh học, mặc dù sự tương đồng chỉ mang tính bề ngoài. Điều quan trọng là kiến ​​trúc này có thể xấp xỉ các hàm phức tạp nếu có đủ dung lượng và dữ liệu. Các định lý xấp xỉ phổ quát hỗ trợ điều này, mặc dù chúng không nói gì về việc liệu quá trình huấn luyện có tìm ra giải pháp tốt hay không.

Các loại mạng phổ biến

• Mạng truyền tiến
• Mạng tích chập
• Mạng nơ-ron hồi quy
• Máy biến hình
• Mạng đồ thị

Độ sâu rất quan trọng. Các mạng nơ-ron nông có thể xấp xỉ nhiều hàm, nhưng các mạng nơ-ron sâu học các đặc điểm phân cấp hiệu quả hơn. Chính hiệu quả đó là lý do tại sao học sâu bùng nổ khi việc huấn luyện trở nên khả thi.