A szekvenciáknak rendjük van. Egy rekurrens neurális hálózat lépésenként dolgozza fel a bemenetet, egy rejtett állapotot visz előre, amely összefoglalja az előzőeket. Ugyanazok a súlyok érvényesek minden lépésre, ami lehetővé teszi a hálózat számára a változó hosszúságú bemenetek kezelését.

Ez a visszatérés memóriát biztosít a modellnek, de a betanítást is lassítja. Minden lépés az előzőtől függ, így a számítás nem tud időben párhuzamosítani. A hosszú sorozatok a gradiensek eltűnését vagy felrobbanását is okozhatják.

Gyakori RNN-variánsok

• Egyszerű visszatérő hálózatok
• Hosszú távú memória
• Kapuzott visszatérő egységek
• Kétirányú RNN-ek
• Mélyen egymásra rakott RNN-ek

A transzformátorok a legtöbb nyelvi feladatban felváltották az RNN-eket, mivel a figyelem megbízhatóbban párhuzamosítja és rögzíti a hosszú távú függőségeket. Az RNN-ek továbbra is megjelennek streamelési és beágyazott környezetekben, ahol a hatékonyságuk számít.