Az ismétlődő hálózatok felejtenek. A gradiensek elhalványulnak, ahogy időben visszafelé terjednek, és a hosszú távú függőségek eltűnnek. Az 1997-ben bevezetett hosszú, rövid távú memória a probléma nagy részét megoldotta egy olyan kapuzási mechanizmussal, amely szabályozza, hogy milyen információk maradnak meg.

Három kapu szabályozza az áramlást. A bemeneti kapu dönti el, hogy mi kerül be a cellaállapotba. Az elfelejtő kapu dönti el, hogy mit kell eldobni. A kimeneti kapu dönti el, hogy mit kell közzétenni. Egy cellaállapot fut végig a szekvencián, és számos lépésen keresztül továbbítja az információt anélkül, hogy ez romlana.

Gyakori LSTM alkalmazások

• Beszédfelismerés
• Gépi fordítás a transzformátorok előtt
• Idősoros előrejelzés
• Kézírás-felismerés
• Zenei generáció

A transzformátorok a legtöbb szekvenciális feladatnál felváltották az LSTM-eket, mivel jobban párhuzamosíthatók és hosszabb kontextusokat kezelnek. Az LSTM-ek továbbra is megjelennek beágyazott rendszerekben és streaming alkalmazásokban, ahol a memória- és késleltetési korlátok a hatékony ismétlődésüket segítik elő.