Toma una función simple, apila muchas copias y deja que cada una aprenda. Una red neuronal es una composición de capas, donde cada capa aplica pesos, un sesgo y una no linealidad. El entrenamiento ajusta esos pesos para que se adapten a los datos.

El diseño se inspira vagamente en las neuronas biológicas, aunque el parecido es superficial. Lo importante es que la arquitectura puede aproximar funciones complejas con suficiente capacidad y datos. Los teoremas de aproximación universal respaldan esto, aunque no aclaran si el entrenamiento encontrará una buena solución.

Tipos de redes comunes

• Redes de realimentación directa
• Redes neuronales convolucionales
• Redes recurrentes
• Transformers
• Redes gráficas

La profundidad es importante. Las redes neuronales superficiales pueden aproximar muchas funciones, pero las profundas aprenden características jerárquicas de forma más eficiente. Esa eficiencia es la razón por la que el aprendizaje profundo despegó una vez que el entrenamiento se volvió práctico.