句子中的每個單字都可能與其他任何單字相關聯。自註意力機制計算單一序列中的這些關係，使每個位置都能從其他位置取得資訊。它是Transformer模型的核心操作。

此機制將每個詞元投影為一個查詢、一個鍵和一個值。查詢和鍵之間的得分決定了注意力權重，這些權重將值組合成一個新的表示。多頭注意力機制並行運行多個這樣的表示，以捕捉不同類型的關係。

主要屬性

• 跨位置的平行計算
• 遠距離令牌之間的直接路徑
• 習得的注意力模式
• 序列長度的可擴展性

處理成本隨序列長度呈二次方增長，這限制了模型一次能夠處理的文字量。稀疏注意力機制、滑動視窗和線性近似可以減輕處理成本，但會犧牲一定的表達能力。