Ta en enkel funksjon, stabl mange kopier, og la hver enkelt lære. Et nevralt nettverk er en sammensetning av lag, der hvert lag bruker vekter, en skjevhet og en ikke-linearitet. Trening justerer disse vektene for å tilpasse dataene.

Designet er løst inspirert av biologiske nevroner, selv om likheten er overfladisk. Det som er viktig er at arkitekturen kan tilnærme komplekse funksjoner gitt nok kapasitet og data. Universelle tilnærmingsteoremer støtter dette, selv om de ikke sier noe om hvorvidt trening vil finne en god løsning.

Vanlige nettverkstyper

• Feedforward-nettverk
• Konvolusjonelle nettverk
• Gjentakende nettverk
• Transformers
• Grafnettverk

Dybde hjelper. Overfladiske nettverk kan tilnærme seg mange funksjoner, men dype nettverk lærer hierarkiske funksjoner mer effektivt. Denne effektiviteten er grunnen til at dyp læring tok av da trening ble praktisk.