Niet elk woord in een zin is even belangrijk. Bij het vertalen van de uitdrukking 'bankrekening' moet het model weten dat 'bank' hier 'financiën' betekent, en niet 'rivieroever'. Door aandacht te besteden aan de verschillende onderdelen van de input, kan een model bij het produceren van elke output verschillende aspecten meewegen, in plaats van alles even belangrijk te achten.

Het mechanisme berekent scores tussen een zoekopdracht en een reeks sleutels, zet die scores om in gewichten en gebruikt ze om waarden te combineren. Het resultaat is een gewogen samenvatting die relevante informatie benadrukt. Zelfaandacht past hetzelfde idee toe binnen één enkele reeks.

Veelvoorkomende aandachtsvarianten

• Aandacht voor het puntproduct op schaal
• Aandacht van meerdere koppen met parallelle weergaven
• Zelfaandacht binnen één sequentie
• Kruislingse aandacht tussen twee sequenties

De transformerarchitectuur, die volledig op aandacht is gebaseerd, heeft terugkerende netwerken voor de meeste taaltaken vervangen. Het is beter geschikt voor parallelle verwerking en legt afhankelijkheden over lange afstanden effectiever vast, waardoor het door bijna elk groot taalmodel wordt gebruikt.