Cada palavra de uma frase pode relacionar-se com todas as outras. A autoatenção computa estas relações dentro de uma única sequência, permitindo que cada posição recolha informação de todas as outras. Esta é a operação central do transformador.

O motor projeta cada token numa consulta, chave e valor. As pontuações entre consultas e chaves determinam os pesos de atenção, que combinam os valores numa nova representação. A atenção multi-cabeças executa várias destas representações em paralelo para captar diferentes tipos de relações.

Propriedades principais

• Computação paralela entre posições
• Caminhos diretos entre tokens distantes
• padrões de atenção aprendidos
• Escalabilidade com o comprimento da sequência

O custo aumenta quadraticamente com o comprimento da sequência, o que limita a quantidade de texto que um modelo pode processar de uma só vez. A atenção esparsa, as janelas deslizantes e as aproximações lineares reduzem esta carga, mas com alguma perda de expressividade.