Sekvenser har ordning. Ett återkommande neuralt nätverk bearbetar indata ett steg i taget och bär ett dolt tillstånd framåt som sammanfattar det som kom före. Samma vikter gäller vid varje steg, vilket gör att nätverket kan hantera indata med variabel längd.

Denna upprepning ger modellen minne, men den gör också träningen långsam. Varje steg är beroende av det föregående, så beräkningen kan inte parallelliseras över tid. Långa sekvenser gör också att gradienter försvinner eller exploderar.

Vanliga RNN-varianter

• Enkla återkommande nätverk
• Långt korttidsminne
• Gated återkommande enheter
• Dubbelriktade RNN:er
• Djupt staplade RNN:er

Transformers ersatte RNN:er för de flesta språkuppgifter eftersom uppmärksamhet parallelliserar och fångar långsiktiga beroenden mer tillförlitligt. RNN:er förekommer fortfarande i strömmande och inbäddade miljöer där deras effektivitet är viktig.