2017年、Googleのチームは「Attention Is All You Need」というタイトルの論文を発表し、そこで記述されたアーキテクチャは現在、ほぼすべての主要な言語モデルに採用されている。トランスフォーマーは、再帰性を自己注意機構に置き換えた。つまり、シーケンス内のすべてのトークンが他のすべてのトークンを直接参照し、それぞれのトークンが現在の予測にどれだけ重要であるかを重み付けできるようになった。

並列検索こそが鍵です。従来のリカレントネットワークは単語を一つずつ処理していたため、長距離依存関係の学習が難しく、学習速度も遅くなっていました。トランスフォーマーはシーケンス全体を一度に処理するため、段落末尾の代名詞が段落冒頭の先行詞を参照しても、全体の流れを見失うことはありません。

コアコンポーネント

• すべてのトークンペア間の関係を計算する自己注意層
• 複数の注意操作を並列に実行するマルチヘッド注意
• 単語順序情報を挿入する位置符号化
• フィードフォワードブロックと、ディープスタックを安定化させる残余接続

コストは2乗に比例する。つまり、シーケンス長を2倍にすると、アテンション計算量は4倍になる。これがコンテキストウィンドウが高コストである理由であり、研究者たちがスパースアテンションや線形アテンションといった効率的な手法を提案し続けている理由でもある。