As sequências têm ordem. Uma rede neural recorrente processa a entrada passo a passo, transportando um estado oculto que resume o que veio antes. Os mesmos pesos aplicam-se a cada passo, o que permite à rede lidar com entradas de comprimento variável.

Esta recorrência fornece memória ao modelo, mas também torna o treino lento. Cada etapa depende da anterior, pelo que a computação não pode ser paralelizada ao longo do tempo. Sequências longas também fazem com que os gradientes desapareçam ou explodam.

Variantes comuns de RNN

• Redes recorrentes simples
• Memória de curto prazo
• Unidades recorrentes com portão
• RNNs bidirecionais
• RNNs empilhadas profundas

Os Transformers substituíram as RNNs na maioria das tarefas de linguagem porque a atenção paraleliza e captura dependências de longo alcance de forma mais fiável. As RNNs ainda aparecem em cenários de streaming e sistemas embebidos, onde a sua eficiência é importante.