Återkommande nätverk glömmer. Gradienter bleknar när de fortplantar sig bakåt i tiden, och långsiktiga beroenden försvinner. Långt korttidsminne, introducerat 1997, löste mycket av problemet med en grindmekanism som styr vilken information som behålls.

Tre grindar reglerar flödet. Ingångsgrinden bestämmer vad som går in i celltillståndet. Glömgrinden bestämmer vad som ska kasseras. Utgångsgrinden bestämmer vad som ska exponeras. Ett celltillstånd löper genom sekvensen och bär information över många steg utan försämring.

Vanliga LSTM-applikationer

• Taligenkänning
• Maskinöversättning före transformatorer
• Tidsserieprognoser
• Handskriftsigenkänning
• Musikgenerering

Transformatorer ersatte LSTM:er för de flesta sekvensuppgifter eftersom de parallelliserar bättre och hanterar längre kontexter. LSTM:er förekommer fortfarande i inbyggda system och streamingapplikationer där minnes- och latensbegränsningar gynnar deras effektiva återkommande sekvensering.