Stapelt man lineare Operationen, erhält man immer noch eine Linie. Fügt man eine Aktivierungsfunktion zwischen den Schichten ein, krümmt sich das Netzwerk. Diese Krümmung ermöglicht es einem neuronalen Netzwerk, Kurven, Kanten und alles andere zu modellieren, was die einfache Arithmetik nicht erfassen kann.

Rectified Linear Units (ReLUs) dominieren die moderne Programmierung. Sie geben für negative Eingaben Null aus und geben positive Werte unverändert weiter. Sie sind recheneffizient und ermöglichen ein schnelles Training. Sigmoid- und Tanh-Funktionen wurden zwar zuerst entwickelt und begrenzen die Ausgabewerte auf bestimmte Bereiche, stoßen aber in tiefen neuronalen Netzen an ihre Grenzen und verlangsamen das Lernen.

Gemeinsame Aktivierungsfunktionen

• ReLU ist die Standard-Aktivierungsfunktion der meisten tiefen neuronalen Netze.
• Leaky ReLU, wodurch ein kleiner Gradient für negative Werte zugelassen wird
• Sigmoidfunktion, verwendet für Binärausgaben
• Tanh, Nullpunkt-Stauchen
• Softmax, Umwandlung von Werten in Wahrscheinlichkeiten

Die falsche Wahl hat Konsequenzen. Ein Netzwerk ausschließlich linearer Aktivierungen reduziert sich auf eine einzige lineare Transformation, unabhängig von der Anzahl der Schichten. Nichtlinearität ist keine Dekoration. Sie ist der Grund, warum Tiefe überhaupt von Nutzen ist.