En 2017, un equipo de Google publicó un artículo titulado "Attention Is All You Need" (La atención es todo lo que necesitas), y la arquitectura que describía ahora impulsa casi todos los modelos de lenguaje importantes. El transformador reemplazó la recurrencia con la autoatención: cada token en una secuencia puede observar directamente a todos los demás tokens, sopesando la importancia de cada uno para la predicción actual.

Esa búsqueda paralela es clave. Las redes recurrentes antiguas procesaban las palabras una a una, lo que dificultaba el aprendizaje de dependencias a largo plazo y ralentizaba el entrenamiento. Un transformador procesa toda la secuencia a la vez, de modo que un pronombre al final de un párrafo puede relacionarse con su antecedente al principio sin perder el hilo.

Componentes principales

• Capas de autoatención que calculan las relaciones entre todos los pares de tokens.
• Atención multi-cabeza que ejecuta varias operaciones de atención en paralelo
• Codificaciones posicionales que inyectan información sobre el orden de las palabras
• Bloques de realimentación directa y conexiones residuales que estabilizan pilas profundas.

El coste es cuadrático: duplicar la longitud de la secuencia cuadruplica el cálculo de la atención. Por eso las ventanas de contexto son costosas y por eso los investigadores siguen proponiendo variantes eficientes como la atención dispersa y lineal.