Các chuỗi có thứ tự. Mạng nơ-ron hồi quy xử lý đầu vào từng bước một, mang theo một trạng thái ẩn tóm tắt những gì đã xảy ra trước đó. Các trọng số giống nhau được áp dụng ở mọi bước, cho phép mạng xử lý đầu vào có độ dài thay đổi.

Sự lặp lại này giúp mô hình có bộ nhớ, nhưng nó cũng làm chậm quá trình huấn luyện. Mỗi bước phụ thuộc vào bước trước đó, do đó quá trình tính toán không thể song song hóa theo thời gian. Các chuỗi dài cũng khiến gradient biến mất hoặc bùng nổ.

Các biến thể RNN phổ biến

• Mạng nơ-ron hồi quy đơn giản
• Trí nhớ ngắn hạn dài hạn
• Đơn vị hồi quy có cổng
• RNN hai chiều
• Mạng RNN xếp chồng sâu

Transformer đã thay thế mạng RNN trong hầu hết các tác vụ xử lý ngôn ngữ vì cơ chế attention giúp song song hóa và nắm bắt các phụ thuộc tầm xa một cách đáng tin cậy hơn. Tuy nhiên, mạng RNN vẫn xuất hiện trong các môi trường xử lý dữ liệu trực tuyến và hệ thống nhúng, nơi hiệu quả của chúng đóng vai trò quan trọng.