循环神经网络会遗忘。梯度会随着时间推移而逐渐衰减，长程依赖性也会消失。1997年提出的长短期记忆网络通过一种控制信息保留方式的门控机制，解决了大部分此类问题。

三个门控机制控制着信息流。输入门决定哪些信息进入单元状态。遗忘门决定哪些信息被丢弃。输出门决定哪些信息被输出。单元状态会依次经过多个步骤，信息得以完整传递而不会丢失。

常见的LSTM应用

• 语音识别
• 机器翻译早于Transformers时代
• 时间序列预测
• 手写识别
• 音乐生成

由于Transformer模型具有更好的并行化能力和处理更长上下文的能力，因此在大多数序列任务中，Transformer模型取代了LSTM模型。不过，在内存和延迟受限的嵌入式系统和流式应用中，LSTM模型仍然很常见，因为它们的高效循环特性更受青睐。