Sekvenser har orden. Et tilbakevendende nevralt nettverk behandler input ett trinn om gangen, og bærer en skjult tilstand fremover som oppsummerer det som kom forut. De samme vektene gjelder for hvert trinn, noe som lar nettverket håndtere input med variabel lengde.

Denne gjentakelsen gir modellen minne, men den gjør også treningen treg. Hvert trinn avhenger av det forrige, slik at beregningen ikke kan parallelliseres over tid. Lange sekvenser fører også til at gradienter forsvinner eller eksploderer.

Vanlige RNN-varianter

• Enkle tilbakevendende nettverk
• Langt korttidsminne
• Gated tilbakevendende enheter
• Toveis RNN-er
• Dypt stablede RNN-er

Transformere erstattet RNN-er for de fleste språkoppgaver fordi oppmerksomhet parallelliserer og fanger opp langsiktige avhengigheter mer pålitelig. RNN-er vises fortsatt i strømming og innebygde innstillinger der effektiviteten deres er viktig.