Рекуррентные сети забывают. Градиенты исчезают по мере распространения во времени назад, а зависимости на больших расстояниях пропадают. Долговременная кратковременная память (ДКМ), введенная в 1997 году, решила большую часть этой проблемы благодаря механизму управления, контролирующему, какая информация сохраняется.

Три логических элемента регулируют поток. Входной элемент определяет, что поступает в состояние ячейки. Элемент «забвения» определяет, что следует отбросить. Выходной элемент определяет, что следует раскрыть. Состояние ячейки проходит через всю последовательность, передавая информацию на протяжении многих этапов без ухудшения качества.

Типичные приложения LSTM

• Распознавание речи
• Машинный перевод до появления трансформеров
• Прогнозирование временных рядов
• распознавание рукописного текста
• Музыкальное поколение

Трансформеры заменили LSTM в большинстве задач обработки последовательностей, поскольку они лучше распараллеливаются и обрабатывают более длинные контексты. LSTM по-прежнему используются во встроенных системах и потоковых приложениях, где ограничения по памяти и задержке способствуют их эффективному рекуррентному использованию.