Prenez une fonction simple, empilez-en de nombreuses copies et laissez chacune apprendre. Un réseau de neurones est composé de couches, où chaque couche applique des poids, un biais et une non-linéarité. L'entraînement ajuste ces poids aux données.

La conception s'inspire vaguement des neurones biologiques, bien que la ressemblance soit superficielle. L'essentiel est que l'architecture puisse approximer des fonctions complexes moyennant une capacité et des données suffisantes. Les théorèmes d'approximation universelle le confirment, sans toutefois préciser si l'apprentissage permettra de trouver une solution optimale.

Types de réseaux courants

• Réseaux à rétroaction
• Réseaux convolutionnels
• Réseaux récurrents
• Transformers
• Réseaux de graphes

La profondeur est un atout. Les réseaux superficiels peuvent approximer de nombreuses fonctions, mais les réseaux profonds apprennent les caractéristiques hiérarchiques plus efficacement. C'est cette efficacité qui explique l'essor de l'apprentissage profond dès que l'entraînement est devenu réalisable.