2017 年，Google的一個團隊發表了一篇題為《注意力機制就是一切》（Attention Is All You Need）的論文，其中描述的架構如今幾乎為所有主流語言模型提供支援。 Transformer 模型用自註意力機制取代了循環：序列中的每個詞元都可以直接查看其他所有詞元，並權衡每個詞元對當前預測的重要性。

這種並行查找是關鍵。早期的循環神經網路一次處理一個詞，這使得長程依賴關係難以學習，訓練速度也較慢。而Transformer可以一次處理整個序列，因此段落末尾的代名詞可以與其開頭的先行詞保持關聯，而不會丟失上下文。

核心組件

• 自註意力層用於計算所有詞元對之間的關係
• 多頭注意力機制並行運行多個注意力操作。
• 注入詞序資訊的位置編碼
• 穩定深堆疊的前饋塊和殘餘連接

計算成本是二次方的：序列長度翻倍，注意力計算量就會翻四倍。這就是為什麼上下文視窗計算成本很高，以及為什麼研究人員不斷提出諸如稀疏注意力和線性注意力等高效變體的原因。