Ne každé slovo ve větě má stejnou důležitost. Při překladu fráze bankovní účet si model potřebuje uvědomit, že banka zde znamená finance, nikoli nábřeží. Pozornost umožňuje modelu zvažovat různé části vstupu při vytváření každého výstupu, spíše než aby se ke všemu přistupovalo se stejnou důležitostí.

Mechanismus vypočítává skóre mezi dotazem a sadou klíčů, převádí tato skóre na váhy a používá je ke kombinování hodnot. Výsledkem je vážené shrnutí, které zdůrazňuje relevantní informace. Sebepozornost aplikuje stejnou myšlenku v rámci jedné sekvence.

Běžné varianty pozornosti

• Pozornost vypočítaná pomocí škálovaného skalárního součinu
• Vícehlavá pozornost s paralelními pohledy
• Sebepozornost v rámci jedné sekvence
• Křížová pozornost mezi dvěma sekvencemi

Transformační architektura postavená výhradně na pozornosti nahradila rekurentní sítě pro většinu jazykových úloh. Lépe paralelizuje a efektivněji zachycuje závislosti na velké vzdálenosti, a proto ji používá téměř každý velký jazykový model.