Susun operasi linear dan Anda tetap mendapatkan garis lurus. Tambahkan fungsi aktivasi di antara lapisan dan jaringan akan melengkung. Lengkungan itulah yang memungkinkan jaringan saraf memodelkan kurva, tepi, dan segala sesuatu yang tidak dapat ditangkap oleh aritmatika lurus.

Unit linear terkoreksi, atau ReLU, mendominasi praktik modern. Mereka menghasilkan nol untuk input negatif dan meneruskan nilai positif tanpa perubahan. Murah untuk dihitung, dan pelatihannya cepat. Sigmoid dan tanh muncul lebih dulu, membatasi output ke dalam rentang yang terbatas, tetapi mereka jenuh dan memperlambat pembelajaran dalam jaringan saraf yang dalam.

Fungsi aktivasi umum

• ReLU, nilai default untuk sebagian besar jaringan saraf dalam.
• Leaky ReLU, memungkinkan gradien kecil untuk nilai negatif.
• Sigmoid, digunakan untuk keluaran biner
• Tanh, pemampatan berpusat nol
• Softmax, mengubah skor menjadi probabilitas

Memilih yang salah itu penting. Jaringan yang hanya terdiri dari aktivasi linier akan runtuh menjadi satu transformasi linier tunggal, tidak peduli berapa banyak lapisan yang Anda tumpuk. Nonlinieritas bukanlah hiasan. Justru itulah alasan mengapa kedalaman (depth) sangat membantu.