Nie każde słowo w zdaniu ma takie samo znaczenie. Tłumacząc frazę „konto bankowe”, model musi wiedzieć, że „bank” oznacza tutaj finanse, a nie „brzeg rzeki”. Uwaga pozwala modelowi ważyć różne części danych wejściowych podczas generowania każdego wyniku, zamiast traktować wszystkie z równą wagą.

Mechanizm oblicza wyniki między zapytaniem a zestawem kluczy, konwertuje je na wagi i wykorzystuje do łączenia wartości. Rezultatem jest ważone podsumowanie, które podkreśla istotne informacje. Samouważność stosuje tę samą ideę w ramach jednej sekwencji.

Typowe warianty uwagi

• Skalowana uwaga iloczynu skalarnego
• Wielogłowicowa uwaga z równoległymi widokami
• Samouwaga w obrębie jednej sekwencji
• Krzyżowa uwaga między dwiema sekwencjami

Architektura transformatorowa oparta w całości na uwadze zastąpiła sieci rekurencyjne w większości zadań językowych. Zapewnia lepszą paralelizację i efektywniejsze przechwytywanie zależności dalekiego zasięgu, dlatego korzysta z niej niemal każdy duży model językowy.