2017-ben a Google egyik csapata publikált egy tanulmányt „Attention Is All You Need” címmel, és az abban leírt architektúra ma már szinte minden nagyobb nyelvi modellt működtet. A transzformátor a rekurrenciát önfigyelemmel helyettesítette: egy szekvenciában lévő minden token közvetlenül megnézheti az összes többi tokent, mérlegelve, hogy az egyes tokenek mennyire fontosak az aktuális predikció szempontjából.

Ez a párhuzamos keresés a kulcs. A régebbi visszatérő hálózatok a szavakat egyenként dolgozták fel, ami megnehezítette a hosszú távú függőségek megtanulását és a betanítást. Egy transzformátor egyszerre dolgozza fel a teljes sorozatot, így egy bekezdés végén lévő névmás a kezdeti előzményére tud figyelni anélkül, hogy elveszítené a fonalat.

Alapvető összetevők

• Önfigyelő rétegek, amelyek kiszámítják az összes tokenpár közötti kapcsolatokat
• Többfejű figyelem, amely több figyelemműveletet futtat párhuzamosan
• Pozicionális kódolások, amelyek szórendi információkat injektálnak
• Előrecsatolt blokkok és maradék kapcsolatok, amelyek stabilizálják a mély halmokat

A költség négyzetes: a szekvencia hosszának megduplázása négyszeresére növeli a figyelem kiszámításának szükségességét. Ezért drágák a kontextuális ablakok, és ezért javasolnak a kutatók folyamatosan olyan hatékony változatokat, mint a ritka és a lineáris figyelem.