Cada palabra de una oración se relaciona con todas las demás. La autoatención calcula esas relaciones dentro de una misma secuencia, permitiendo que cada posición recopile información de todas las demás. Es la operación central del transformador.

El mecanismo proyecta cada token en una consulta, una clave y un valor. Las puntuaciones entre las consultas y las claves determinan los pesos de atención, que combinan los valores en una nueva representación. La atención multi-cabeza ejecuta varias de estas funciones en paralelo para capturar diferentes tipos de relaciones.

Propiedades clave

• Computación paralela entre posiciones
• Rutas directas entre tokens distantes
• Patrones de atención aprendidos
• Escalabilidad con la longitud de la secuencia

El costo aumenta cuadráticamente con la longitud de la secuencia, lo que limita la cantidad de texto que un modelo puede procesar a la vez. La atención dispersa, las ventanas deslizantes y las aproximaciones lineales reducen la carga, aunque a costa de la expresividad.