Secvențele au o ordine. O rețea neuronală recurentă procesează datele de intrare pas cu pas, purtând mai departe o stare ascunsă care rezumă ce a fost anterior. Aceleași ponderi se aplică la fiecare pas, ceea ce permite rețelei să gestioneze date de intrare de lungime variabilă.

Această recurență oferă modelului memorie, dar face și antrenamentul lent. Fiecare pas depinde de cel precedent, astfel încât calculul nu poate fi paralelizat în timp. Secvențele lungi determină, de asemenea, dispariția sau explozia gradienților.

Variante comune de RNN

• Rețele recurente simple
• Memoria pe termen lung și scurt
• Unități recurente închise
• RNN-uri bidirecționale
• RNN-uri stivuite adânc

Transformatoarele au înlocuit RNN-urile pentru majoritatea sarcinilor lingvistice, deoarece atenția paralelizează și capturează dependențele pe termen lung într-un mod mai fiabil. RNN-urile apar încă în setările de streaming și embedded, unde eficiența lor contează.