リカレントネットワークは記憶を失う。勾配は時間的に遡るにつれて薄れ、長距離依存性は消滅する。1997年に導入された長短期記憶（LSTM）は、どの情報が保持されるかを制御するゲーティング機構によって、この問題の多くを解決した。

3つのゲートが情報の流れを制御します。入力ゲートはセル状態に何を入力するかを決定し、忘却ゲートは何を破棄するかを決定し、出力ゲートは何を公開するかを決定します。セル状態は一連の処理を経て、劣化することなく多くのステップにわたって情報を伝達します。

一般的なLSTMアプリケーション

• 音声認識
• トランスフォーマー以前の機械翻訳
• 時系列予測
• 手書き文字認識
• 音楽世代

トランスフォーマーは並列処理能力が高く、より長いコンテキストを処理できるため、ほとんどのシーケンス処理においてLSTMに取って代わりました。LSTMは、メモリとレイテンシの制約が効率的な再帰処理を有利にする組み込みシステムやストリーミングアプリケーションでは依然として使用されています。