Последовательности имеют порядок. Рекуррентная нейронная сеть обрабатывает входные данные пошагово, передавая скрытое состояние, которое суммирует то, что было раньше. На каждом шаге применяются одни и те же веса, что позволяет сети обрабатывать входные данные переменной длины.

Такая повторяемость обеспечивает модели память, но также замедляет обучение. Каждый шаг зависит от предыдущего, поэтому вычисления не могут быть распараллелены во времени. Длинные последовательности также приводят к исчезновению или взрывному росту градиентов.

Распространенные варианты рекуррентных нейронных сетей

• Простые рекуррентные сети
• Долговременная кратковременная память
• Вентилируемые рекуррентные блоки
• Двунаправленные рекуррентные нейронные сети
• Глубокие многослойные рекуррентные нейронные сети

Трансформеры заменили рекуррентные нейронные сети (RNN) в большинстве языковых задач, поскольку механизм внимания обеспечивает параллельную обработку и более надежно улавливает зависимости на больших расстояниях. RNN по-прежнему используются в потоковой обработке данных и встраиваемых системах, где их эффективность имеет значение.