Tekrarlayan ağlar unutur. Eğimler zaman içinde geriye doğru yayılırken kaybolur ve uzun menzilli bağımlılıklar ortadan kalkar. 1997'de tanıtılan uzun kısa süreli bellek, hangi bilginin kalıcı olacağını kontrol eden bir kapı mekanizmasıyla bu sorunun büyük bir kısmını çözmüştür.

Üç kapı akışı düzenler. Giriş kapısı hücre durumuna neyin gireceğine karar verir. Unutma kapısı neyin atılacağına karar verir. Çıkış kapısı neyin açığa çıkarılacağına karar verir. Bir hücre durumu, bozulmadan birçok adım boyunca bilgi taşıyarak bu sırayı takip eder.

Yaygın LSTM uygulamaları

• Konuşma tanıma
• Transformatörlerden önce makine çevirisi
• Zaman serisi tahmini
• El yazısı tanıma
• Müzik nesli

Transformer algoritmaları, daha iyi paralelleştirme ve daha uzun bağlamları işleme yetenekleri nedeniyle çoğu sıralı işlem görevinde LSTM'lerin yerini aldı. LSTM'ler, bellek ve gecikme kısıtlamalarının verimli tekrarlamalarını desteklediği gömülü sistemlerde ve akış uygulamalarında hala kullanılmaktadır.