循環神經網路會遺忘。梯度會隨著時間而逐漸衰減，長程依賴性也會消失。 1997年提出的長短期記憶網絡透過一種控制訊息保留方式的門控機制，解決了大部分此類問題。

三個門控機制控制資訊流。輸入門決定哪些資訊進入單元狀態。遺忘門決定哪些資訊被丟棄。輸出閘決定哪些資訊被輸出。單元狀態會依序經過多個步驟，訊息得以完整傳遞而不會遺失。

常見的LSTM應用

• 語音辨識
• 機器翻譯早於Transformers時代
• 時間序列預測
• 手寫識別
• 音樂生成

由於Transformer模型具有更好的平行化能力和處理更長上下文的能力，因此在大多數序列任務中，Transformer模型取代了LSTM模型。不過，在記憶體和延遲受限的嵌入式系統和串流應用中，LSTM模型仍然很常見，因為它們的高效循環特性更受青睞。