文中のすべての単語は、他のすべての単語と関連付けられうる。自己注意機構は、単一のシーケンス内でこれらの関係性を計算し、各位置が他のすべての位置から情報を収集できるようにする。これは、トランスフォーマー内部の中核となる演算である。

このメカニズムは、各トークンをクエリ、キー、値に投影します。クエリとキー間のスコアによってアテンション重みが決定され、これらの重みによって値が結合されて新しい表現が生成されます。マルチヘッドアテンションは、これらの処理を複数並列に実行することで、さまざまな種類の関係性を捉えます。

主な特性

• 複数の位置にわたる並列計算
• 遠隔トークン間の直接経路
• 学習された注意パターン
• シーケンス長によるスケーラビリティ

処理コストはシーケンス長の2乗に比例して増加するため、モデルが一度に処理できるテキスト量には限界がある。スパースアテンション、スライディングウィンドウ、線形近似を用いることで、表現力は多少犠牲になるものの、処理負荷を軽減できる。