Sekvence mají řád. Rekurentní neuronová síť zpracovává vstup krok za krokem a přenáší skrytý stav, který shrnuje, co bylo předtím. V každém kroku platí stejné váhy, což umožňuje síti zpracovávat vstup s proměnnou délkou.

Tato rekurence dává modelu paměť, ale také zpomaluje trénování. Každý krok závisí na předchozím, takže výpočet nelze v čase paralelizovat. Dlouhé sekvence také způsobují, že gradienty mizí nebo explodují.

Běžné varianty RNN

• Jednoduché rekurentní sítě
• Dlouhodobá krátkodobá paměť
• Uzavírané rekurentní jednotky
• Obousměrné RNN
• Hluboce naskládané RNN

Transformátory nahradily RNN pro většinu jazykových úloh, protože pozornost paralelizuje a spolehlivěji zachycuje závislosti na dlouhé vzdálenosti. RNN se stále objevují ve streamovacích a embedded prostředích, kde je jejich efektivita důležitá.