आवर्ती नेटवर्क भूल जाते हैं। समय के साथ पीछे की ओर फैलने पर प्रवणता क्षीण हो जाती है, और दीर्घकालिक निर्भरताएँ लुप्त हो जाती हैं। 1997 में प्रस्तुत की गई दीर्घकालिक अल्पकालिक स्मृति ने एक नियंत्रण तंत्र के माध्यम से इस समस्या का काफी हद तक समाधान किया, जो यह नियंत्रित करता है कि कौन सी जानकारी स्थायी रहती है।

तीन द्वार प्रवाह को नियंत्रित करते हैं। इनपुट द्वार यह निर्धारित करता है कि सेल अवस्था में क्या प्रवेश करेगा। फ़ॉरगेट द्वार यह निर्धारित करता है कि क्या हटाना है। आउटपुट द्वार यह निर्धारित करता है कि क्या प्रदर्शित करना है। एक सेल अवस्था अनुक्रम के माध्यम से चलती है, बिना किसी गिरावट के कई चरणों में सूचना का परिवहन करती है।

सामान्य एलएसटीएम अनुप्रयोग

• वाक् पहचान
• ट्रांसफॉर्मर से पहले मशीन अनुवाद
• समय श्रृंखला पूर्वानुमान
• हस्तलेख पहचान
• संगीत पीढ़ी

अधिकांश अनुक्रम कार्यों के लिए ट्रांसफॉर्मर ने एलएसटीएम का स्थान ले लिया है क्योंकि वे बेहतर समानांतरता प्रदान करते हैं और लंबे संदर्भों को संभाल सकते हैं। एलएसटीएम अभी भी एम्बेडेड सिस्टम और स्ट्रीमिंग अनुप्रयोगों में दिखाई देते हैं जहां मेमोरी और विलंबता की बाधाएं उनकी कुशल पुनरावृत्ति के पक्ष में हैं।