Tilbagevendende netværk glemmer. Gradienter falmer, når de udbreder sig bagud gennem tiden, og langsigtede afhængigheder forsvinder. Lang korttidshukommelse, introduceret i 1997, løste meget af problemet med en gating-mekanisme, der styrer, hvilken information der bevares.

Tre porte regulerer flowet. Input-gaten bestemmer, hvad der kommer ind i celletilstanden. Glem-gaten bestemmer, hvad der skal kasseres. Output-gaten bestemmer, hvad der skal eksponeres. En celletilstand løber gennem sekvensen og bærer information på tværs af mange trin uden forringelse.

Almindelige LSTM-applikationer

• Talegenkendelse
• Maskinoversættelse før transformere
• Tidsserieprognoser
• Håndskriftsgenkendelse
• Musikgenerering

Transformere erstattede LSTM'er for de fleste sekvensopgaver, fordi de paralleliserer bedre og håndterer længere kontekster. LSTM'er forekommer stadig i indlejrede systemer og streamingapplikationer, hvor hukommelses- og latensbegrænsninger favoriserer deres effektive gentagelse.