Dacă suprapuneți operații liniare, obțineți în continuare o linie. Adăugați o funcție de activare între straturi și curbele rețelei. Această curbă permite unei rețele neuronale să modeleze curbe, muchii și tot ce nu poate fi surprins de aritmetica directă.

Unitățile liniare rectificate, sau ReLU-uri, domină practica modernă. Acestea dau zero pentru intrări negative și transmit valori pozitive neschimbate. Sunt ieftine de calculat și se antrenează rapid. Sigmoid și tanh au fost primele, comprimând ieșirile în intervale delimitate, dar acestea saturează și încetinesc învățarea în rețelele profunde.

Funcții comune de activare

• ReLU, implicit pentru majoritatea rețelelor profunde
• ReLU cu scurgeri, permițând un gradient mic pentru negative
• Sigmoid, utilizat pentru ieșiri binare
• Tanh, comprimare centrată pe zero
• Softmax, convertirea scorurilor în probabilități

Alegerea greșită contează. O rețea de activări liniare se prăbușește într-o singură transformare liniară, indiferent de câte straturi suprapuni. Neliniaritatea nu este un element decorativ. Este motivul pentru care profunzimea ajută.