Inte varje ord i en mening spelar lika stor roll. När frasen bankkonto översätts behöver modellen veta att bank här betyder finans, inte flodstrand. Uppmärksamhet låter en modell väga olika delar av inputen när den producerar varje output, snarare än att behandla allt med lika stor vikt.

Mekanismen beräknar poäng mellan en fråga och en uppsättning nycklar, omvandlar dessa poäng till vikter och använder dem för att kombinera värden. Resultatet är en viktad sammanfattning som betonar relevant information. Självuppmärksamhet tillämpar samma idé inom en enda sekvens.

Vanliga uppmärksamhetsvarianter

• Skalad punktproduktuppmärksamhet
• Flerhuvuduppmärksamhet med parallella vyer
• Självuppmärksamhet inom en sekvens
• Korsuppmärksamhet mellan två sekvenser

Transformatorarkitekturen, som helt och hållet byggdes på uppmärksamhet, ersatte återkommande nätverk för de flesta språkuppgifter. Den parallelliserar bättre och fångar långsiktiga beroenden mer effektivt, vilket är anledningen till att nästan alla stora språkmodeller använder den.