En 2017, une équipe de Google a publié un article intitulé « Attention Is All You Need » (L'attention est tout ce dont vous avez besoin), et l'architecture qu'elle décrit est aujourd'hui au cœur de la quasi-totalité des principaux modèles de langage. Le transformateur remplace la récurrence par l'auto-attention : chaque jeton d'une séquence peut examiner directement tous les autres jetons, en évaluant l'importance de chacun pour la prédiction courante.

Cette recherche parallèle est essentielle. Les anciens réseaux récurrents traitaient les mots un par un, ce qui rendait l'apprentissage des dépendances à long terme difficile et l'entraînement lent. Un transformateur traite la séquence entière d'un seul coup, de sorte qu'un pronom à la fin d'un paragraphe peut se référer à son antécédent au début sans perdre le fil.

Composants principaux

• Couches d'auto-attention qui calculent les relations entre toutes les paires de jetons
• Attention multi-têtes exécutant plusieurs opérations d'attention en parallèle
• Encodages positionnels qui injectent des informations sur l'ordre des mots
• Blocs de pré-alimentation et connexions résiduelles qui stabilisent les piles profondes

Le coût est quadratique : doubler la longueur de la séquence quadruple le calcul de l’attention. C’est pourquoi les fenêtres de contexte sont coûteuses et pourquoi les chercheurs proposent sans cesse des variantes efficaces comme l’attention parcimonieuse et l’attention linéaire.