Ikke alle ord i en sætning har lige stor betydning. Når udtrykket "bankkonto" oversættes, skal modellen vide, at "bank" her betyder "finansiering", ikke "flod". Opmærksomhed lader en model veje forskellige dele af inputtet, når den producerer hvert output, i stedet for at behandle alt med lige stor betydning.

Mekanismen beregner scorer mellem en forespørgsel og et sæt nøgler, konverterer disse scorer til vægte og bruger dem til at kombinere værdier. Resultatet er et vægtet resumé, der fremhæver relevante oplysninger. Selvopmærksomhed anvender den samme idé inden for en enkelt sekvens.

Almindelige opmærksomhedsvarianter

• Skaleret punktproduktopmærksomhed
• Flerhovedopmærksomhed med parallelle synspunkter
• Selvopmærksomhed inden for én sekvens
• Krydsende opmærksomhed mellem to sekvenser

Transformerarkitekturen, der udelukkende er bygget på opmærksomhed, erstattede tilbagevendende netværk for de fleste sprogopgaver. Den paralleliserer bedre og indfanger langtrækkende afhængigheder mere effektivt, hvilket er grunden til, at næsten alle store sprogmodeller bruger den.