句子中的每个词都可能与其他任何词相关联。自注意力机制计算单个序列中的这些关系，使每个位置都能从其他位置获取信息。它是Transformer模型的核心操作。

该机制将每个词元投影为一个查询、一个键和一个值。查询和键之间的得分决定了注意力权重，这些权重将值组合成一个新的表示。多头注意力机制并行运行多个这样的表示，以捕捉不同类型的关系。

主要属性

• 跨位置的并行计算
• 远距离令牌之间的直接路径
• 习得的注意力模式
• 序列长度的可扩展性

处理成本随序列长度呈二次方增长，这限制了模型一次能够处理的文本量。稀疏注意力机制、滑动窗口和线性近似可以减轻处理成本，但会牺牲一定的表达能力。