Las secuencias tienen un orden. Una red neuronal recurrente procesa la entrada paso a paso, manteniendo un estado oculto que resume lo sucedido anteriormente. Los mismos pesos se aplican en cada paso, lo que permite que la red maneje entradas de longitud variable.

Esta recurrencia le otorga memoria al modelo, pero también ralentiza el entrenamiento. Cada paso depende del anterior, por lo que el cálculo no puede paralelizarse a lo largo del tiempo. Las secuencias largas también provocan que los gradientes desaparezcan o se disparen.

Variantes comunes de RNN

• Redes recurrentes simples
• Memoria a corto y largo plazo
• Unidades recurrentes controladas
• Redes neuronales recurrentes bidireccionales
• Redes neuronales recurrentes apiladas profundas

Los Transformers reemplazaron a las RNN en la mayoría de las tareas de lenguaje porque la atención paraleliza y captura las dependencias de largo alcance de manera más confiable. Las RNN aún se utilizan en entornos de transmisión de datos y sistemas embebidos donde su eficiencia es importante.