Sieci rekurencyjne zapominają. Gradienty zanikają w miarę rozprzestrzeniania się wstecz w czasie, a zależności długoterminowych znikają. Pamięć długoterminowa, wprowadzona w 1997 roku, rozwiązała znaczną część problemu dzięki mechanizmowi bramkowania, który kontroluje, jakie informacje są zachowywane.

Trzy bramki regulują przepływ. Bramka wejściowa decyduje, co trafia do stanu komórki. Bramka „zapomnij” decyduje, co odrzucić. Bramka wyjściowa decyduje, co ujawnić. Stan komórki przechodzi przez sekwencję, przenosząc informacje przez wiele kroków bez degradacji.

Typowe zastosowania LSTM

• Rozpoznawanie mowy
• Tłumaczenie maszynowe przed transformatorami
• Prognozowanie szeregów czasowych
• Rozpoznawanie pisma ręcznego
• Generacja muzyczna

Transformatory zastąpiły algorytmy LSTM w większości zadań sekwencyjnych, ponieważ lepiej paralelizują i obsługują dłuższe konteksty. Algorytmy LSTM nadal pojawiają się w systemach wbudowanych i aplikacjach strumieniowych, gdzie ograniczenia pamięci i opóźnienia sprzyjają ich efektywnej rekurencji.