Ta en enkel funktion, stapla många kopior och låt var och en lära sig. Ett neuralt nätverk är en sammansättning av lager, där varje lager tillämpar vikter, en bias och en icke-linjäritet. Träning justerar dessa vikter för att passa data.

Designen är löst inspirerad av biologiska neuroner, även om likheten är ytlig. Det viktiga är att arkitekturen kan approximera komplexa funktioner givet tillräckligt med kapacitet och data. Universella approximationsteorem stöder detta, även om de inte säger något om huruvida träning kommer att hitta en bra lösning.

Vanliga nätverkstyper

• Feedforward-nätverk
• Konvolutionella nätverk
• Återkommande nätverk
• Transformatorer
• Grafnätverk

Djup hjälper. Grunda nätverk kan approximera många funktioner, men djupa nätverk lär sig hierarkiska funktioner mer effektivt. Den effektiviteten är anledningen till att djupinlärning tog fart när träning blev praktisk.