Ikke alle ord i en setning teller like mye. Når man oversetter uttrykket «bankkonto», må modellen vite at bank her betyr finans, ikke elvebredden. Oppmerksomhet lar en modell veie forskjellige deler av input når den produserer hver output, i stedet for å behandle alt med like stor betydning.

Mekanismen beregner poengsummer mellom en spørring og et sett med nøkler, konverterer disse poengsummene til vekter og bruker dem til å kombinere verdier. Resultatet er et vektet sammendrag som vektlegger relevant informasjon. Selvoppmerksomhet anvender den samme ideen innenfor en enkelt sekvens.

Vanlige oppmerksomhetsvarianter

• Skalert punktproduktoppmerksomhet
• Flerhodeoppmerksomhet med parallelle visninger
• Selvoppmerksomhet innenfor én sekvens
• Kryssoppmerksomhet mellom to sekvenser

Transformatorarkitekturen, som er bygget utelukkende på oppmerksomhet, erstattet tilbakevendende nettverk for de fleste språkoppgaver. Den parallelliserer bedre og fanger opp langsiktige avhengigheter mer effektivt, og det er derfor nesten alle store språkmodeller bruker den.