Vegyünk egy egyszerű függvényt, vonjunk össze sok másolatot, és hagyjuk, hogy mindegyik tanuljon. A neurális hálózat rétegek kompozíciója, ahol minden réteg súlyokat, egy torzítást és egy nemlinearitást alkalmaz. A betanítás ezeket a súlyokat az adatokhoz igazítja.

A dizájnt lazán a biológiai neuronok ihlették, bár a hasonlóság felszínes. A lényeg az, hogy az architektúra elegendő kapacitás és adatmennyiség esetén képes komplex függvényeket közelíteni. Az univerzális approximációs tételek ezt alátámasztják, bár semmit sem mondanak arról, hogy a betanítás jó megoldást talál-e.

Gyakori hálózati típusok

• Előrecsatoló hálózatok
• Konvolúciós hálózatok
• Ismétlődő hálózatok
• Transformers
• Gráf hálózatok

A mélység segít. A sekély hálózatok számos függvényt képesek közelíteni, de a mélyek hatékonyabban tanulják meg a hierarchikus jellemzőket. Ez a hatékonyság az oka annak, hogy a mélytanulás elterjedt, amint a betanítás gyakorlatiassá vált.