Neem een ​​eenvoudige functie, stapel er veel kopieën van en laat elke kopie leren. Een neuraal netwerk is een samenstelling van lagen, waarbij elke laag gewichten, een bias en een niet-lineariteit toepast. Training past die gewichten aan de data aan.

Het ontwerp is losjes geïnspireerd op biologische neuronen, hoewel de gelijkenis oppervlakkig is. Waar het om gaat, is dat de architectuur complexe functies kan benaderen, mits er voldoende capaciteit en data beschikbaar zijn. Universele benaderingstheorema's ondersteunen dit, hoewel ze niets zeggen over de vraag of training een goede oplossing zal opleveren.

Veelvoorkomende netwerktypen

• Feedforward-netwerken
• Convolutionele netwerken
• Terugkerende netwerken
• Transformers
• Grafnetwerken

Diepte is belangrijk. Ondiepe netwerken kunnen veel functies benaderen, maar diepe netwerken leren hiërarchische kenmerken efficiënter. Die efficiëntie is de reden waarom deep learning zo'n vlucht nam toen het trainen ervan praktisch uitvoerbaar werd.