Dizilerin bir düzeni vardır. Tekrarlayan bir sinir ağı, girdiyi adım adım işler ve daha önce olanları özetleyen gizli bir durumu ileriye taşır. Her adımda aynı ağırlıklar uygulanır, bu da ağın değişken uzunluktaki girdiyi işlemesine olanak tanır.

Bu tekrarlama, modele hafıza kazandırır ancak aynı zamanda eğitimi de yavaşlatır. Her adım bir öncekine bağlıdır, bu nedenle hesaplama zaman içinde paralelleştirilemez. Uzun diziler ayrıca gradyanların kaybolmasına veya patlamasına neden olur.

Yaygın RNN varyantları

• Basit tekrarlayan ağlar
• Uzun kısa süreli hafıza
• Kapılı tekrarlayan üniteler
• Çift yönlü RNN'ler
• Derin katmanlı RNN'ler

Transformer ağları, dikkat mekanizmasının paralel işlem yapması ve uzun menzilli bağımlılıkları daha güvenilir bir şekilde yakalaması nedeniyle çoğu dil işleme görevinde RNN'lerin yerini aldı. RNN'ler, verimliliklerinin önemli olduğu akış ve gömülü sistem ortamlarında hala kullanılmaktadır.