Dans une phrase, chaque mot peut être lié à tous les autres. L'auto-attention calcule ces relations au sein d'une séquence, permettant à chaque position de recueillir des informations auprès de toutes les autres. C'est l'opération fondamentale du transformateur.

Ce mécanisme transforme chaque jeton en une requête, une clé et une valeur. Les scores entre les requêtes et les clés déterminent les poids d'attention, qui combinent les valeurs en une nouvelle représentation. L'attention multi-têtes exécute plusieurs de ces processus en parallèle afin de capturer différents types de relations.

Propriétés clés

• Calcul parallèle sur plusieurs positions
• Chemins directs entre jetons distants
• Modèles d'attention appris
• Évolutivité en fonction de la longueur de la séquence

Le coût augmente de façon quadratique avec la longueur de la séquence, ce qui limite la quantité de texte qu'un modèle peut traiter simultanément. L'attention parcimonieuse, les fenêtres glissantes et les approximations linéaires réduisent la charge, au prix d'une certaine perte d'expressivité.