Rekurentní sítě zapomínají. Gradienty slábnou, jak se šíří zpět v čase, a dlouhodobé závislosti mizí. Dlouhá krátkodobá paměť, zavedená v roce 1997, vyřešila velkou část problému pomocí mechanismu hradlování, který řídí, jaké informace přetrvávají.

Tok informací regulují tři brány. Vstupní brána rozhoduje o tom, co vstoupí do stavu buňky. Brána zapomenutí rozhoduje o tom, co zahodit. Výstupní brána rozhoduje o tom, co zveřejnit. Stav buňky prochází sekvencí a přenáší informaci napříč mnoha kroky bez degradace.

Běžné aplikace LSTM

• Rozpoznávání řeči
• Strojový překlad před transformátory
• Předpovídání časových řad
• Rozpoznávání rukopisu
• Hudební generace

Transformátory nahradily LSTM pro většinu sekvenčních úloh, protože lépe paralelizují a zpracovávají delší kontexty. LSTM se stále objevují ve vestavěných systémech a streamovacích aplikacích, kde omezení paměti a latence upřednostňují jejich efektivní opakování.