Ha a lineáris műveleteket egymásra helyezzük, akkor is kapunk egy egyenest. Adjunk hozzá egy aktivációs függvényt a rétegek és a hálózat kanyarulatai közé. Ez a kanyar teszi lehetővé a neurális hálózat számára a görbék, élek és minden más modellezését, amit az egyenes aritmetika nem tud rögzíteni.

Az egyenirányított lineáris egységek, vagy ReLU-k uralják a modern gyakorlatot. Negatív bemenetek esetén nullát adnak ki, pozitív értékeket pedig változatlanul adnak át. Olcsón számíthatók, és gyorsan tanulhatók. Először a szigmoid és a tanh hálózatok jelentek meg, amelyek a kimeneteket korlátozott tartományokba sűrítették, de telítik és lassítják a tanulást a mély hálózatokban.

Gyakori aktiválási függvények

• ReLU, az alapértelmezett a legtöbb mély hálózathoz
• Szivárgó ReLU, amely kis gradienst tesz lehetővé a negatívok számára
• Szigmoid, bináris kimenetekhez használják
• Tanh, nulla középpontú összenyomódás
• Softmax, pontszámok valószínűségekké konvertálása

A rossz választás számít. Egy kizárólag lineáris aktivációkból álló hálózat egyetlen lineáris transzformációvá omlik össze, függetlenül attól, hogy hány réteget halmozunk fel. A nemlinearitás nem díszítés. Ez az oka annak, hogy a mélység egyáltalán segít.