Dans une phrase, tous les mots n'ont pas la même importance. Pour traduire l'expression « compte bancaire », le modèle doit comprendre que « banque » fait référence à la finance, et non à la rive. L'attention permet au modèle de pondérer différemment les éléments d'entrée lors de la production de chaque sortie, au lieu de leur accorder la même importance.

Ce mécanisme calcule des scores entre une requête et un ensemble de clés, convertit ces scores en pondérations et les utilise pour combiner les valeurs. Il en résulte un résumé pondéré qui met en évidence les informations pertinentes. L'auto-attention applique le même principe au sein d'une même séquence.

Variantes d'attention courantes

• Attention au produit scalaire à l'échelle
• Attention multi-têtes avec vues parallèles
• L'auto-attention au sein d'une séquence
• Attention croisée entre deux séquences

L'architecture Transformer, entièrement basée sur l'attention, a remplacé les réseaux récurrents pour la plupart des tâches de traitement du langage. Elle offre une meilleure parallélisation et une capture plus efficace des dépendances à long terme, ce qui explique son utilisation par la quasi-totalité des grands modèles de langage.