Elk woord in een zin staat in verband met elk ander woord. Zelfaandacht berekent die relaties binnen één enkele reeks, waardoor elke positie informatie verzamelt van alle andere. Het is de kernbewerking binnen de transformer.

Het mechanisme projecteert elk token in een query, sleutel en waarde. Scores tussen queries en sleutels bepalen de aandachtsgewichten, die de waarden combineren tot een nieuwe representatie. Multi-head attention voert meerdere van deze processen parallel uit om verschillende soorten relaties vast te leggen.

Belangrijkste eigenschappen

• Parallelle berekening over posities
• Directe paden tussen verre tokens
• Aangeleerde aandachtspatronen
• Schaalbaarheid met sequentielengte

De kosten nemen kwadratisch toe met de lengte van de sequentie, wat de hoeveelheid tekst beperkt die een model tegelijk kan verwerken. Sparse attention, sliding windows en lineaire benaderingen verminderen de belasting, maar dit gaat ten koste van de expressiviteit.