Weź prostą funkcję, ułóż wiele kopii i pozwól każdej z nich się uczyć. Sieć neuronowa to kompozycja warstw, z których każda stosuje wagi, odchylenie i nieliniowość. Uczenie dostosowuje te wagi do danych.

Projekt jest luźno inspirowany neuronami biologicznymi, choć podobieństwo jest powierzchowne. Ważne jest, aby architektura mogła aproksymować złożone funkcje przy wystarczającej pojemności i danych. Potwierdzają to twierdzenia o uniwersalnej aproksymacji, choć nie mówią nic o tym, czy trening znajdzie dobre rozwiązanie.

Typowe typy sieci

• Sieci sprzężenia zwrotnego
• Sieci splotowe
• Sieci rekurencyjne
• Transformatory
• Sieci grafowe

Głębokość pomaga. Sieci płytkie potrafią aproksymować wiele funkcji, ale sieci głębokie uczą się cech hierarchicznych wydajniej. Ta wydajność jest powodem, dla którego głębokie uczenie się zyskało na popularności, gdy tylko stało się praktyczne.