Sekvenser har orden. Et tilbagevendende neuralt netværk behandler input et trin ad gangen og bærer en skjult tilstand fremad, der opsummerer det foregående. De samme vægte gælder ved hvert trin, hvilket gør det muligt for netværket at håndtere input med variabel længde.

Denne gentagelse giver modellen hukommelse, men den gør også træningen langsom. Hvert trin afhænger af det foregående, så beregningen kan ikke paralleliseres over tid. Lange sekvenser får også gradienter til at forsvinde eller eksplodere.

Almindelige RNN-varianter

• Simple tilbagevendende netværk
• Lang korttidshukommelse
• Gated tilbagevendende enheder
• Tovejs-RNN'er
• Dybt stablede RNN'er

Transformere erstattede RNN'er for de fleste sprogopgaver, fordi attention paralleliserer og indfanger langtrækkende afhængigheder mere pålideligt. RNN'er optræder stadig i streaming og indlejrede indstillinger, hvor deres effektivitet er vigtig.