अनुक्रमों में एक क्रम होता है। एक आवर्ती तंत्रिका नेटवर्क इनपुट को एक-एक चरण करके संसाधित करता है, और एक छिपी हुई स्थिति को आगे बढ़ाता है जो पिछले चरण की जानकारी को संक्षेप में प्रस्तुत करती है। प्रत्येक चरण में समान भार लागू होते हैं, जिससे नेटवर्क परिवर्तनीय लंबाई के इनपुट को संभालने में सक्षम होता है।

यह पुनरावृत्ति मॉडल को मेमोरी तो देती है, लेकिन इससे प्रशिक्षण धीमा हो जाता है। प्रत्येक चरण पिछले चरण पर निर्भर करता है, इसलिए गणना समय के साथ समानांतर नहीं हो सकती। लंबी अनुक्रमों के कारण प्रवणताएँ गायब हो जाती हैं या बहुत अधिक बढ़ जाती हैं।

सामान्य आरएनएन वेरिएंट

• सरल आवर्ती नेटवर्क
• अल्पकालिक स्मृति
• गेटेड आवर्ती इकाइयाँ
• द्विदिशात्मक आरएनएन
• डीप स्टैक्ड आरएनएन

भाषा संबंधी अधिकांश कार्यों में ट्रांसफॉर्मर ने आरएनए (रिस्क नेशन) की जगह ले ली है क्योंकि अटेंशन समानांतर प्रक्रिया अपनाता है और लंबी दूरी की निर्भरताओं को अधिक विश्वसनीय रूप से पकड़ता है। स्ट्रीमिंग और एम्बेडेड सेटिंग्स में आरएनए अभी भी मौजूद हैं जहां उनकी दक्षता मायने रखती है।