Tag en simpel funktion, stabl mange kopier, og lad hver enkelt lære. Et neuralt netværk er en sammensætning af lag, hvor hvert lag anvender vægte, en bias og en ikke-linearitet. Træning justerer disse vægte, så de passer til dataene.

Designet er løst inspireret af biologiske neuroner, selvom ligheden er overfladisk. Det vigtige er, at arkitekturen kan tilnærme komplekse funktioner givet tilstrækkelig kapacitet og data. Universelle tilnærmelsessætninger understøtter dette, selvom de ikke siger noget om, hvorvidt træning vil finde en god løsning.

Almindelige netværkstyper

• Feedforward-netværk
• Konvolutionelle netværk
• Tilbagevendende netværk
• Transformere
• Grafnetværk

Dybde hjælper. Overfladiske netværk kan tilnærme mange funktioner, men dybe netværk lærer hierarkiske funktioner mere effektivt. Denne effektivitet er grunden til, at dyb læring tog fart, da træning blev praktisk.