Les séquences sont ordonnées. Un réseau de neurones récurrent traite les entrées étape par étape, en conservant un état caché qui résume les étapes précédentes. Les mêmes poids sont appliqués à chaque étape, ce qui permet au réseau de gérer des entrées de longueur variable.

Cette récurrence confère une mémoire au modèle, mais elle ralentit également l'entraînement. Chaque étape dépendant de la précédente, le calcul ne peut être parallélisé dans le temps. De plus, les séquences longues peuvent entraîner la disparition ou l'explosion des gradients.

Variantes courantes de RNN

• réseaux récurrents simples
• mémoire à court terme
• unités récurrentes à accès contrôlé
• RNN bidirectionnels
• RNN empilés en profondeur

Les Transformers ont remplacé les RNN pour la plupart des tâches de traitement du langage naturel, car l'attention parallélise et capture plus efficacement les dépendances à long terme. Les RNN restent toutefois présents dans les systèmes de traitement de flux et embarqués où leur efficacité est primordiale.