تتمتع التسلسلات بالترتيب. تعالج الشبكة العصبية المتكررة المدخلات خطوة بخطوة، حاملةً حالةً مخفيةً تلخص ما سبقها. وتُطبَّق الأوزان نفسها في كل خطوة، مما يسمح للشبكة بالتعامل مع المدخلات ذات الأطوال المتغيرة.

يُتيح هذا التكرار للنموذج مساحةً للذاكرة، ولكنه يُبطئ عملية التدريب. فكل خطوة تعتمد على الخطوة السابقة، لذا لا يمكن إجراء العمليات الحسابية بالتوازي عبر الزمن. كما أن التسلسلات الطويلة تُؤدي إلى تلاشي التدرجات أو انفجارها.

المتغيرات الشائعة للشبكات العصبية المتكررة

• الشبكات المتكررة البسيطة
• الذاكرة طويلة المدى قصيرة المدى
• وحدات التكرار ذات البوابات
• الشبكات العصبية المتكررة ثنائية الاتجاه
• الشبكات العصبية المتكررة ذات الطبقات العميقة

حلت المحولات محل الشبكات العصبية المتكررة في معظم مهام معالجة اللغات، لأن آلية الانتباه تعمل على التوازي وتلتقط التبعيات بعيدة المدى بشكل أكثر موثوقية. ولا تزال الشبكات العصبية المتكررة مستخدمة في بيئات البث المباشر والأنظمة المدمجة حيث تُعد كفاءتها أمرًا بالغ الأهمية.