Egy mondat minden szava kapcsolódhat minden más szóhoz. Az önfigyelés ezeket a kapcsolatokat egyetlen sorozaton belül számítja ki, lehetővé téve, hogy minden pozíció információt gyűjtsön az összes többitől. Ez a transzformátor alapvető művelete.

A mechanizmus minden tokent lekérdezésbe, kulcsba és értékbe vetít ki. A lekérdezések és kulcsok közötti pontszámok határozzák meg a figyelem súlyokat, amelyek az értékeket egy új reprezentációvá egyesítik. A többfejű figyelem ezek közül többet futtat párhuzamosan a különböző típusú kapcsolatok rögzítése érdekében.

Főbb tulajdonságok

• Párhuzamos számítás pozíciók között
• Közvetlen útvonalak távoli tokenek között
• Tanult figyelmi minták
• Skálázhatóság a szekvencia hosszával

A költség négyzetesen nő a szekvencia hosszával, ami korlátozza, hogy egy modell mennyi szöveget tud egyszerre feldolgozni. A ritka figyelem, a csúszó ablakok és a lineáris közelítések csökkentik a terhelést, de a kifejezőerő rovására mennek.