序列具有顺序。循环神经网络一次处理一步输入，并将一个概括先前信息的隐藏状态传递下去。每一步都应用相同的权重，这使得网络能够处理可变长度的输入。

这种循环赋予模型记忆能力，但也导致训练速度缓慢。每一步都依赖于前一步，因此计算无法跨时间并行化。过长的序列还会导致梯度消失或爆炸。

常见的RNN变体

• 简单循环网络
• 长短期记忆
• 门控循环单元
• 双向循环神经网络
• 深度堆叠式循环神经网络

由于注意力机制能够并行化并更可靠地捕捉长程依赖关系，Transformer 模型已取代 RNN 模型用于大多数语言任务。但在流式处理和嵌入式应用场景中，RNN 模型仍然发挥着重要作用，因为它们的效率至关重要。