Varje ord i en mening kan relatera till alla andra ord. Självuppmärksamhet beräknar dessa relationer inom en enda sekvens, vilket låter varje position samla information från alla de andra. Det är kärnoperationen inuti transformatorn.

Mekanismen projicerar varje token till en fråga, nyckel och värde. Poäng mellan frågor och nycklar bestämmer uppmärksamhetsvikter, som kombinerar värdena till en ny representation. Multi-head-uppmärksamhet kör flera av dessa parallellt för att fånga olika typer av relationer.

Viktiga egenskaper

• Parallell beräkning över positioner
• Direkta vägar mellan avlägsna tokens
• Inlärda uppmärksamhetsmönster
• Skalbarhet med sekvenslängd

Kostnaden växer kvadratiskt med sekvenslängden, vilket begränsar hur mycket text en modell kan bearbeta samtidigt. Sparsam uppmärksamhet, glidande fönster och linjära approximationer minskar belastningen på något sätt i uttrycksfullhet.