2017 年，谷歌的一个团队发表了一篇题为《注意力机制就是一切》（Attention Is All You Need）的论文，其中描述的架构如今几乎为所有主流语言模型提供支持。Transformer 模型用自注意力机制取代了循环：序列中的每个词元都可以直接查看其他所有词元，并权衡每个词元对当前预测的重要性。

这种并行查找是关键。早期的循环神经网络一次处理一个词，这使得长程依赖关系难以学习，训练速度也较慢。而Transformer可以一次性处理整个序列，因此段落末尾的代词可以与其开头的先行词保持关联，而不会丢失上下文。

核心组件

• 自注意力层用于计算所有词元对之间的关​​系
• 多头注意力机制并行运行多个注意力操作。
• 注入词序信息的位置编码
• 稳定深堆叠的前馈块和残余连接

计算成本是二次方的：序列长度翻倍，注意力计算量就会翻四倍。这就是为什么上下文窗口计算成本很高，以及为什么研究人员不断提出诸如稀疏注意力和线性注意力等高效变体的原因。