Każde słowo w zdaniu może odnosić się do każdego innego słowa. Samouważność oblicza te relacje w ramach jednej sekwencji, pozwalając każdej pozycji zbierać informacje od wszystkich pozostałych. To podstawowa operacja wewnątrz transformatora.

Mechanizm rzutuje każdy token na zapytanie, klucz i wartość. Wyniki między zapytaniami i kluczami określają wagi uwagi, które łączą wartości w nową reprezentację. Uwaga wielogłowicowa uruchamia kilka z nich równolegle, aby uchwycić różne typy relacji.

Kluczowe właściwości

• Równoległe obliczenia w różnych pozycjach
• Bezpośrednie ścieżki między odległymi tokenami
• Wyuczone wzorce uwagi
• Skalowalność z długością sekwencji

Koszt rośnie kwadratowo wraz z długością sekwencji, co ogranicza ilość tekstu, jaką model może przetworzyć jednocześnie. Rozproszona uwaga, przesuwane okna i liniowe aproksymacje zmniejszają obciążenie kosztem ekspresji.