Každé slovo ve větě se může vztahovat k každému jinému slovu. Sebepozornost vypočítává tyto vztahy v rámci jedné sekvence a umožňuje každé pozici shromažďovat informace ze všech ostatních. Je to základní operace uvnitř transformátoru.

Mechanismus promítá každý token do dotazu, klíče a hodnoty. Skóre mezi dotazy a klíči určuje váhy pozornosti, které kombinují hodnoty do nové reprezentace. Vícehlavá pozornost spouští několik z nich paralelně, aby zachytila ​​různé typy vztahů.

Klíčové vlastnosti

• Paralelní výpočet napříč pozicí
• Přímé cesty mezi vzdálenými tokeny
• Naučené vzorce pozornosti
• Škálovatelnost s délkou sekvence

Náklady rostou kvadraticky s délkou sekvence, což omezuje množství textu, které model dokáže zpracovat najednou. Řídká pozornost, posuvná okna a lineární aproximace snižují zátěž, ale zároveň snižují expresivitu.