句子中的每個字並非都同等重要。例如，在翻譯「銀行帳戶」這個短語時，模型需要知道這裡的「銀行」指的是金融，而不是河邊。注意力機制允許模型在產生每個輸出時對輸入的不同部分賦予不同的權重，而不是對所有部分賦予相同的重要性。

該機制計算查詢與一組鍵之間的得分，將這些得分轉換為權重，並用這些權重組合值。結果是一個加權摘要，重點是突出相關資訊。自註意力機制在單一序列中應用了相同的想法。

常見注意力變體

• 縮放點積注意力
• 多頭並行觀察
• 一個序列內的自我關注
• 兩個序列之間的交叉注意力

完全基於注意力機制建構的Transformer架構取代了循環神經網絡，成為大多數語言任務的首選模型。它具有更好的平行化能力，並且能夠更有效地捕捉長程依賴關係，因此幾乎所有大型語言模型都採用了它。