Vezměte si jednoduchou funkci, naskládejte na ni mnoho kopií a nechte každou z nich, aby se učila. Neuronová síť je složenina vrstev, kde každá vrstva aplikuje váhy, zkreslení a nelinearitu. Trénování upravuje tyto váhy tak, aby odpovídaly datům.

Design je volně inspirován biologickými neurony, ačkoli podobnost je povrchní. Důležité je, že architektura dokáže aproximovat složité funkce s dostatečnou kapacitou a daty. Univerzální aproximační věty to podporují, i když neříkají nic o tom, zda trénování najde dobré řešení.

Běžné typy sítí

• Dopředné sítě
• Konvoluční sítě
• Rekurentní sítě
• Transformátory
• Grafové sítě

Hloubka pomáhá. Mělké sítě dokáží aproximovat mnoho funkcí, ale hluboké sítě se učí hierarchické prvky efektivněji. Právě tato efektivita je důvodem, proč se hluboké učení rozjelo, jakmile se trénování stalo praktickým.