序列具有順序。循環神經網路一次處理一步輸入，並將一個概括先前訊息的隱藏狀態傳遞下去。每一步都應用相同的權重，這使得網路能夠處理可變長度的輸入。

這種循環賦予模型記憶能力，但也導致訓練速度緩慢。每一步都依賴前一步，因此計算無法跨時間並行化。過長的序列也會導致梯度消失或爆炸。

常見的RNN變體

• 簡單循環網絡
• 長短期記憶
• 門控循環單元
• 雙向循環神經網絡
• 深度堆疊式循環神經網絡

由於注意力機制能夠並行化並更可靠地捕捉長程依賴關係，Transformer 模型已取代 RNN 模型用於大多數語言任務。但在串流處理和嵌入式應用場景中，RNN 模型仍然發揮著重要作用，因為它們的效率至關重要。