Sekwencje mają porządek. Rekurencyjna sieć neuronowa przetwarza dane wejściowe krok po kroku, przenosząc ukryty stan do przodu, który podsumowuje to, co było wcześniej. Te same wagi obowiązują na każdym kroku, co pozwala sieci obsługiwać dane wejściowe o zmiennej długości.

Ta rekurencja zapewnia modelowi pamięć, ale jednocześnie spowalnia proces uczenia. Każdy krok zależy od poprzedniego, więc obliczenia nie mogą być paralelizowane w czasie. Długie sekwencje powodują również zanikanie lub eksplozję gradientów.

Typowe warianty RNN

• Proste sieci rekurencyjne
• Długa pamięć krótkotrwała
• Bramkowane jednostki cykliczne
• Dwukierunkowe sieci RNN
• Głęboko ułożone sieci neuronowe RNN

Transformatory zastąpiły sieci neuronowe RNN w większości zadań językowych, ponieważ uwaga jest paralelizowana i wychwytuje zależności dalekiego zasięgu bardziej niezawodnie. Sieci RNN nadal pojawiają się w środowiskach strumieniowych i osadzonych, gdzie ich wydajność ma znaczenie.