No todas las palabras de una oración tienen la misma importancia. Al traducir la frase «cuenta bancaria», el modelo necesita saber que «banco» se refiere a finanzas, no a orillas del río. El mecanismo de atención permite que el modelo pondere diferentes partes de la entrada al generar cada salida, en lugar de tratarlas todas con la misma importancia.

El mecanismo calcula puntuaciones entre una consulta y un conjunto de claves, las convierte en ponderaciones y las utiliza para combinar valores. El resultado es un resumen ponderado que resalta la información relevante. La autoatención aplica la misma idea dentro de una misma secuencia.

Variantes comunes de atención

• Atención de producto escalar
• Atención multicabezal con vistas paralelas
• Autoatención dentro de una secuencia
• Atención cruzada entre dos secuencias

La arquitectura Transformer, basada completamente en la atención, reemplazó a las redes recurrentes en la mayoría de las tareas de lenguaje. Se paraleliza mejor y captura las dependencias de largo alcance con mayor eficacia, razón por la cual casi todos los modelos de lenguaje complejos la utilizan.