Hvert ord i en setning kan relateres til alle andre ord. Selvoppmerksomhet beregner disse forholdene innenfor en enkelt sekvens, slik at hver posisjon samler informasjon fra alle de andre. Det er kjerneoperasjonen inne i transformatoren.

Mekanismen projiserer hvert token til en spørring, nøkkel og verdi. Poengsummer mellom spørringer og nøkler bestemmer oppmerksomhetsvekter, som kombinerer verdiene til en ny representasjon. Flerhode-oppmerksomhet kjører flere av disse parallelt for å fange opp ulike typer relasjoner.

Viktige egenskaper

• Parallell beregning på tvers av posisjoner
• Direkte stier mellom fjerne tokens
• Lærte oppmerksomhetsmønstre
• Skalerbarhet med sekvenslengde

Kostnaden vokser kvadratisk med sekvenslengden, noe som begrenser hvor mye tekst en modell kan behandle samtidig. Sparsom oppmerksomhet, glidende vinduer og lineære tilnærminger reduserer byrden med en viss kostnad i uttrykksevnen.