تنسى الشبكات العصبية المتكررة. تتلاشى التدرجات مع انتشارها عكسيًا عبر الزمن، وتختفي التبعيات طويلة المدى. وقد حلت الذاكرة طويلة المدى، التي طُرحت عام 1997، جزءًا كبيرًا من هذه المشكلة من خلال آلية تحكم تتحكم في المعلومات التي تبقى.

تُنظّم ثلاث بوابات تدفق البيانات. تُحدّد بوابة الإدخال ما يدخل حالة الخلية، وتُحدّد بوابة النسيان ما يُتجاهل، وتُحدّد بوابة الإخراج ما يُعرض. تنتقل حالة الخلية عبر التسلسل، حاملةً المعلومات عبر خطوات عديدة دون تدهور.

تطبيقات LSTM الشائعة

• التعرف على الكلام
• الترجمة الآلية قبل المحولات
• التنبؤ بالسلاسل الزمنية
• التعرف على الكتابة اليدوية
• إنتاج موسيقي

حلت المحولات محل شبكات الذاكرة طويلة المدى (LSTM) في معظم مهام التسلسل نظرًا لقدرتها على المعالجة المتوازية الأفضل والتعامل مع سياقات أطول. ولا تزال شبكات الذاكرة طويلة المدى (LSTM) مستخدمة في الأنظمة المدمجة وتطبيقات البث المباشر حيث تُفضل قيود الذاكرة وزمن الاستجابة استخدامها بكفاءة.