Las redes recurrentes olvidan. Los gradientes se desvanecen a medida que se propagan hacia atrás en el tiempo, y las dependencias de largo alcance desaparecen. La memoria a corto y largo plazo (LSTM), introducida en 1997, resolvió gran parte del problema mediante un mecanismo de filtrado que controla qué información persiste.

Tres compuertas regulan el flujo. La compuerta de entrada decide qué entra en el estado de la celda. La compuerta de olvido decide qué se descarta. La compuerta de salida decide qué se expone. Un estado de celda recorre la secuencia, transportando información a través de múltiples pasos sin degradación.

Aplicaciones comunes de LSTM

• Reconocimiento de voz
• Traducción automática antes que transformadores
• Pronóstico de series temporales
• Reconocimiento de escritura a mano
• Generación musical

Los Transformers reemplazaron a las LSTM en la mayoría de las tareas de secuenciación porque se paralelizan mejor y manejan contextos más largos. Las LSTM aún se utilizan en sistemas embebidos y aplicaciones de transmisión de datos donde las limitaciones de memoria y latencia favorecen su recursión eficiente.