Man nehme eine einfache Funktion, stapel viele Kopien davon und lasse jede einzelne lernen. Ein neuronales Netzwerk besteht aus Schichten, wobei jede Schicht Gewichte, einen Bias und eine Nichtlinearität anwendet. Durch das Training werden diese Gewichte an die Daten angepasst.

Das Design ist lose von biologischen Neuronen inspiriert, die Ähnlichkeit ist jedoch oberflächlich. Entscheidend ist, dass die Architektur bei ausreichender Kapazität und Datenmenge komplexe Funktionen approximieren kann. Universelle Approximationssätze stützen dies, sagen aber nichts darüber aus, ob ein Training eine gute Lösung liefert.

Gängige Netzwerktypen

• Feedforward-Netzwerke
• Faltungsnetzwerke
• Rekurrente Netzwerke
• Transformers
• Graphnetzwerke

Tiefe ist entscheidend. Flache Netzwerke können viele Funktionen annähern, tiefe hingegen lernen hierarchische Merkmale effizienter. Diese Effizienz war der Grund für den Durchbruch des Deep Learning, sobald das Training praktikabel wurde.