Urutan memiliki keteraturan. Jaringan saraf berulang memproses input satu langkah demi satu langkah, membawa keadaan tersembunyi yang merangkum apa yang terjadi sebelumnya. Bobot yang sama berlaku di setiap langkah, yang memungkinkan jaringan untuk menangani input dengan panjang variabel.

Pengulangan ini memberikan memori pada model, tetapi juga memperlambat pelatihan. Setiap langkah bergantung pada langkah sebelumnya, sehingga komputasi tidak dapat diparalelkan dari waktu ke waktu. Urutan yang panjang juga menyebabkan gradien menghilang atau meledak.

Varian RNN umum

• Jaringan berulang sederhana
• Memori jangka pendek panjang
• Unit berulang yang diatur
• RNN dua arah
• RNN bertumpuk dalam

Transformer menggantikan RNN untuk sebagian besar tugas pemrosesan bahasa karena mekanisme perhatian (attention) memparalelkan dan menangkap ketergantungan jarak jauh dengan lebih andal. RNN masih muncul dalam pengaturan streaming dan embedded di mana efisiensinya penting.