Pegue numa função simples, empilhe várias cópias e deixe que cada uma aprenda. Uma rede neural é uma composição de camadas, onde cada camada aplica pesos, um bias e uma não linearidade. O treino ajusta estes pesos para se adequarem aos dados.

O projeto é vagamente inspirado em neurónios biológicos, embora a semelhança seja superficial. O que importa é que a arquitetura consegue aproximar funções complexas, dado que existe capacidade e dados suficientes. Os teoremas universais de aproximação corroboram esta hipótese, embora não afirmem se o treino encontrará uma boa solução.

Tipos de rede comuns

• Redes de feedforward
• Redes convolucionais
• Redes recorrentes
• Transformers
• Redes gráficas

A profundidade ajuda. As redes pouco profundas podem aproximar muitas funções, mas as redes profundas aprendem características hierárquicas de forma mais eficiente. Esta eficiência é o motivo pelo qual a aprendizagem profunda decolou assim que o treino se tornou viável.