Nem minden szó egyformán fontos egy mondatban. A bankszámla kifejezés fordításakor a modellnek tudnia kell, hogy a bank itt pénzügyet jelent, nem pedig folyópartot. A figyelem lehetővé teszi a modell számára, hogy a bemenet különböző részeit súlyozza az egyes kimenetek előállításakor, ahelyett, hogy mindent egyformán fontosnak tartana.

A mechanizmus pontszámokat számít ki egy lekérdezés és egy kulcskészlet között, ezeket a pontszámokat súlyokká alakítja, és felhasználja az értékek kombinálására. Az eredmény egy súlyozott összefoglalás, amely kiemeli a releváns információkat. Az önfigyelés ugyanazt az elképzelést alkalmazza egyetlen sorozaton belül.

Gyakori figyelemváltozatok

• Skálázott pontszorzat figyelem
• Többfejű figyelem párhuzamos nézetekkel
• Önfigyelem egy sorozaton belül
• Két szekvencia közötti keresztfigyelem

A teljes mértékben a figyelemre épülő transzformátor architektúra a legtöbb nyelvi feladatnál felváltotta a visszatérő hálózatokat. Jobban párhuzamosít és hatékonyabban rögzíti a hosszú távú függőségeket, ezért szinte minden nagyobb nyelvi modell ezt használja.