Việc huấn luyện một mạng neural đòi hỏi phải biết cách điều chỉnh từng trọng số. Thuật toán lan truyền ngược (backpropagation) tính toán điều đó. Nó áp dụng quy tắc chuỗi trong phép tính vi phân và tích phân để lan truyền lỗi từ lớp đầu ra ngược trở lại mạng, gán một gradient cho mỗi trọng số trên đường đi.

Thuật toán hoạt động theo hai bước. Bước tiến (forward pass) tính toán dự đoán và tổn thất. Bước lùi (backward pass) tính toán độ dốc (gradient) đối với từng tham số. Sau đó, một thuật toán tối ưu hóa như thuật toán giảm độ dốc ngẫu nhiên (stochastic gradient descent) sẽ cập nhật trọng số theo hướng làm giảm tổn thất.

Các bước chính

• Truyền tín hiệu về phía trước xuyên qua tất cả các lớp.
• Tính toán tổn thất so với mục tiêu
• Lượt truyền ngược áp dụng quy tắc chuỗi
• Cập nhật trọng số bằng cách sử dụng độ dốc

Kỹ thuật này trở nên phổ biến vào những năm 1980 và giúp cho học sâu trở nên khả thi khi kết hợp với phần cứng nhanh hơn và các hàm kích hoạt tốt hơn. Nếu không có nó, việc huấn luyện các mạng đa lớp sẽ đòi hỏi quá trình tìm kiếm bất khả thi trong không gian trọng số.