Nu fiecare cuvânt dintr-o propoziție contează la fel de mult. Atunci când traduce sintagma „cont bancar”, modelul trebuie să știe că „bancă” înseamnă aici finanțe, nu „riverside”. Atenția permite unui model să cântărească diferite părți ale inputului atunci când produce fiecare output, în loc să trateze totul cu aceeași importanță.

Mecanismul calculează scorurile dintre o interogare și un set de chei, convertește aceste scoruri în ponderi și le folosește pentru a combina valori. Rezultatul este un rezumat ponderat care evidențiază informațiile relevante. Autoatenția aplică aceeași idee într-o singură secvență.

Variante comune de atenție

• Atenție prin produs scalar scalat
• Atenție la mai multe capete cu vederi paralele
• Autoatenție într-o singură secvență
• Atenție încrucișată între două secvențe

Arhitectura transformatorului construită în întregime pe atenție a înlocuit rețelele recurente pentru majoritatea sarcinilor lingvistice. Se paralelizează mai bine și surprinde dependențele pe termen lung mai eficient, motiv pentru care aproape fiecare model lingvistic mare o folosește.