As redes recorrentes esquecem. Os gradientes desaparecem à medida que se propagam para trás no tempo, e as dependências de longo alcance dissipam-se. A memória de longo prazo (LSTM), introduzida em 1997, resolveu grande parte deste problema com um mecanismo de controlo que regula a informação que persiste.

Três portas regulam o fluxo. A porta de entrada decide o que entra no estado da célula. A porta de esquecimento decide o que descartar. A porta de saída decide o que expor. Um estado de célula percorre a sequência, transportando informação através de várias etapas sem degradação.

Aplicações comuns de LSTM

• reconhecimento de fala
• Tradução automática antes dos transformadores
• previsão de séries temporais
• reconhecimento de escrita manual
• Geração da música

Os Transformers substituíram as LSTMs na maioria das tarefas de sequenciação, uma vez que oferecem uma melhor paralelização e lidam melhor com contextos mais longos. As LSTMs são ainda utilizadas em sistemas embebidos e aplicações de streaming, onde as restrições de memória e latência favorecem a sua recorrência eficiente.