Ghép chồng các phép toán tuyến tính lên nhau, ta vẫn nhận được một đường thẳng. Thêm một hàm kích hoạt giữa các lớp và mạng nơ-ron sẽ uốn cong. Chính sự uốn cong đó cho phép mạng nơ-ron mô hình hóa các đường cong, cạnh và mọi thứ khác mà phép toán số học thông thường không thể nắm bắt được.

Hàm ReLU (Rectified Linear Unit) chiếm ưu thế trong thực tiễn hiện đại. Chúng trả về giá trị 0 cho các đầu vào âm và giữ nguyên các giá trị dương. Chi phí tính toán thấp và tốc độ huấn luyện nhanh. Hàm Sigmoid và tanh xuất hiện trước đó, thu hẹp phạm vi đầu ra, nhưng chúng gây bão hòa và làm chậm quá trình học trong các mạng nơ-ron sâu.

Các chức năng kích hoạt thông thường

• ReLU, hàm mặc định cho hầu hết các mạng nơ-ron sâu.
• Leaky ReLU, cho phép độ dốc nhỏ đối với các giá trị âm.
• Hàm sigmoid, được sử dụng cho đầu ra nhị phân.
• Tanh, nén tâm bằng không
• Softmax, chuyển đổi điểm số thành xác suất

Việc lựa chọn sai sẽ dẫn đến hậu quả nghiêm trọng. Một mạng lưới chỉ gồm các kích hoạt tuyến tính sẽ sụp đổ thành một phép biến đổi tuyến tính duy nhất, bất kể bạn xếp chồng bao nhiêu lớp. Tính phi tuyến tính không phải là yếu tố trang trí. Đó là lý do tại sao chiều sâu lại hữu ích.