Sequenties hebben een bepaalde volgorde. Een terugkerend neuraal netwerk verwerkt invoer stap voor stap en draagt ​​een verborgen toestand mee die samenvat wat eraan voorafging. Dezelfde gewichten worden bij elke stap toegepast, waardoor het netwerk invoer van variabele lengte kan verwerken.

Deze herhaling geeft het model geheugen, maar maakt de training ook traag. Elke stap is afhankelijk van de vorige, waardoor de berekening niet parallel in de tijd kan worden uitgevoerd. Lange reeksen zorgen er bovendien voor dat gradiënten verdwijnen of exploderen.

Veelvoorkomende RNN-varianten

• Eenvoudige terugkerende netwerken
• Langetermijngeheugen
• Gated recurrent units
• Bidirectionele RNN's
• Diep gestapelde RNN's

Transformers hebben RNN's voor de meeste taaltaken vervangen omdat aandachtmechanismen paralleliseren en afhankelijkheden over lange afstanden betrouwbaarder vastleggen. RNN's worden nog steeds gebruikt in streaming- en embedded-omgevingen waar hun efficiëntie van belang is.