Terugkerende netwerken vergeten informatie. Gradiënten vervagen naarmate ze zich terug in de tijd voortplanten, en afhankelijkheden over lange afstanden verdwijnen. Long Short-Term Memory (LSTM), geïntroduceerd in 1997, loste een groot deel van dit probleem op met een poortmechanisme dat bepaalt welke informatie behouden blijft.

Drie poorten reguleren de stroom. De ingangspoort bepaalt wat de celtoestand binnenkomt. De vergeetpoort bepaalt wat wordt weggegooid. De uitgangspoort bepaalt wat wordt blootgesteld. Een celtoestand doorloopt de sequentie en draagt ​​informatie over vele stappen heen zonder kwaliteitsverlies.

Veelvoorkomende LSTM-toepassingen

• Spraakherkenning
• Machinevertaling vóór de transformaties
• Tijdreeksvoorspelling
• Handschriftherkenning
• Muziekgeneratie

Transformers hebben LSTM's voor de meeste sequentietaken vervangen omdat ze beter parallel te verwerken zijn en langere contexten aankunnen. LSTM's worden nog steeds gebruikt in embedded systemen en streamingtoepassingen, waar geheugen- en latentiebeperkingen hun efficiënte recursie bevorderen.