Fiecare cuvânt dintr-o propoziție se poate raporta la oricare alt cuvânt. Autoatenția calculează aceste relații într-o singură secvență, permițând fiecărei poziții să adune informații de la toate celelalte. Este operațiunea de bază din interiorul transformatorului.

Mecanismul proiectează fiecare token într-o interogare, o cheie și o valoare. Scorurile dintre interogări și chei determină ponderile atenției, care combină valorile într-o nouă reprezentare. Atenția cu mai multe capete rulează mai multe dintre acestea în paralel pentru a surprinde diferite tipuri de relații.

Proprietăți cheie

• Calcul paralel între poziții
• Căi directe între jetoane îndepărtate
• Modele de atenție învățate
• Scalabilitate cu lungimea secvenței

Costul crește pătratic odată cu lungimea secvenței, ceea ce limitează cantitatea de text pe care un model o poate procesa simultan. Atenția redusă, ferestrele glisante și aproximările liniare reduc povara, cu un anumit cost în ceea ce privește expresivitatea.