Doğrusal işlemleri üst üste koyarsanız yine de bir çizgi elde edersiniz. Katmanlar arasına bir aktivasyon fonksiyonu eklediğinizde ağ bükülür. Bu bükülme, sinir ağının eğrileri, kenarları ve düz aritmetiğin yakalayamadığı her şeyi modellemesini sağlar.

Doğrulmuş doğrusal birimler veya ReLU'lar, modern uygulamalarda baskın konumdadır. Negatif girdiler için sıfır çıktısı verirler ve pozitif değerleri değiştirmeden geçirirler. Hesaplamaları ucuzdur ve hızlı eğitilirler. Sigmoid ve tanh fonksiyonları daha önce ortaya çıkmış, çıktıları sınırlı aralıklara sıkıştırmışlardır, ancak doygunluğa ulaşırlar ve derin ağlarda öğrenmeyi yavaşlatırlar.

Ortak etkinleştirme fonksiyonları

• ReLU, çoğu derin öğrenme ağı için varsayılan fonksiyondur.
• Negatif değerler için küçük bir eğime izin veren sızıntılı ReLU
• Sigmoid, ikili çıktılar için kullanılır.
• Tanh, sıfır merkezli sıkıştırma
• Softmax, puanları olasılıklara dönüştürme

Yanlış seçim yapmak önemlidir. Sadece doğrusal aktivasyonlardan oluşan bir ağ, kaç katman eklerseniz ekleyin, tek bir doğrusal dönüşüme dönüşür. Doğrusal olmama bir süsleme değildir. Derinliğin işe yaramasının nedeni budur.