Rețelele recurente uită. Gradienții se estompează pe măsură ce se propagă înapoi în timp, iar dependențele pe termen lung dispar. Memoria pe termen scurt, introdusă în 1997, a rezolvat o mare parte a problemei cu un mecanism de închidere care controlează ce informații persistă.

Trei porți reglează fluxul. Poarta de intrare decide ce intră în starea celulei. Poarta de uitare decide ce să elimine. Poarta de ieșire decide ce să expună. O stare a celulei parcurge secvența, transportând informații prin mai multe etape fără degradare.

Aplicații LSTM comune

• Recunoaștere vocală
• Traducerea automată înainte de transformatoare
• Prognoza seriilor temporale
• Recunoașterea scrisului de mână
• Generația muzicală

Transformatoarele au înlocuit LSTM-urile pentru majoritatea sarcinilor de secvență, deoarece paralelizează mai bine și gestionează contexte mai lungi. LSTM-urile apar încă în sistemele integrate și aplicațiile de streaming, unde constrângerile de memorie și latență favorizează recurența lor eficientă.