Les réseaux récurrents oublient. Les gradients s'estompent lorsqu'ils se propagent à rebours dans le temps, et les dépendances à long terme disparaissent. La mémoire à long terme (LSTM), introduite en 1997, a résolu une grande partie du problème grâce à un mécanisme de sélection qui contrôle quelles informations sont conservées.

Trois portes régulent le flux. La porte d'entrée détermine ce qui entre dans l'état de la cellule. La porte d'oubli détermine ce qui doit être supprimé. La porte de sortie détermine ce qui doit être exposé. Un état de cellule parcourt la séquence, transportant l'information à travers de nombreuses étapes sans dégradation.

Applications LSTM courantes

• Reconnaissance vocale
• Traduction automatique avant les transformateurs
• prévision de séries chronologiques
• Reconnaissance de l'écriture manuscrite
• Génération musicale

Les Transformers ont remplacé les LSTM pour la plupart des tâches séquentielles car ils permettent une meilleure parallélisation et gèrent des contextes plus longs. Les LSTM restent toutefois présents dans les systèmes embarqués et les applications de flux de données où les contraintes de mémoire et de latence privilégient leur récurrence efficace.