文中のすべての単語が等しく重要というわけではありません。例えば、「銀行口座」というフレーズを翻訳する場合、モデルはここでいう「銀行」が「金融」を意味するのであって、「川沿い」を意味するのではないことを理解する必要があります。アテンション機構を用いることで、モデルは入力されたすべての要素を等しく重要視するのではなく、各出力を生成する際に、入力された各要素に異なる重み付けをすることができます。

このメカニズムは、クエリと一連のキー間のスコアを計算し、それらのスコアを重みに変換して、値を組み合わせるために使用します。結果として、関連情報を強調した重み付き要約が得られます。自己注意機構は、単一のシーケンス内で同じ考え方を適用します。

一般的な注意の変異

• スケーリングされたドット積アテンション
• 並列ビューによるマルチヘッドアテンション
• 1つのシーケンス内での自己注意
• 2つのシーケンス間の相互注意

アテンション機構のみに基づいて構築されたトランスフォーマーアーキテクチャは、ほとんどの言語タスクにおいてリカレントネットワークに取って代わりました。並列処理能力が高く、長距離依存関係をより効果的に捉えることができるため、ほぼすべての大規模言語モデルで採用されています。