句子中的每个词并非都同等重要。例如，在翻译“银行账户”这个短语时，模型需要知道这里的“银行”指的是金融，而不是河边。注意力机制允许模型在生成每个输出时对输入的不同部分赋予不同的权重，而不是对所有部分都赋予相同的重要性。

该机制计算查询与一组键之间的得分，将这些得分转换为权重，并用这些权重组合值。结果是一个加权摘要，重点突出相关信息。自注意力机制在单个序列中应用了相同的思想。

常见注意力变体

• 缩放点积注意力
• 多头并行观察
• 一个序列内的自我关注
• 两个序列之间的交叉注意力

完全基于注意力机制构建的Transformer架构取代了循环神经网络，成为大多数语言任务的首选模型。它具有更好的并行化能力，并且能够更有效地捕捉长程依赖关系，因此几乎所有大型语言模型都采用了它。