Gjentakende nettverk glemmer. Gradienter falmer når de forplanter seg bakover gjennom tid, og langsiktige avhengigheter forsvinner. Langtidshukommelse, introdusert i 1997, løste mye av problemet med en portmekanisme som kontrollerer hvilken informasjon som vedvarer.

Tre porter regulerer flyten. Inngangsporten bestemmer hva som går inn i celletilstanden. Glemsporten bestemmer hva som skal kastes. Utgangsporten bestemmer hva som skal eksponeres. En celletilstand går gjennom sekvensen og bærer informasjon over mange trinn uten degradering.

Vanlige LSTM-applikasjoner

• Talegjenkjenning
• Maskinoversettelse før transformatorer
• Tidsserieprognoser
• Håndskriftgjenkjenning
• Musikkgenerering

Transformatorer erstattet LSTM-er for de fleste sekvensoppgaver fordi de parallelliserer bedre og håndterer lengre kontekster. LSTM-er vises fortsatt i innebygde systemer og strømmeapplikasjoner der minne- og latensbegrensninger favoriserer effektiv gjentakelse.