Nem todas as palavras de uma frase têm a mesma importância. Ao traduzir a expressão "conta bancária", o modelo precisa de saber que "banco" significa aqui "finanças", e não "beira-rio". A atenção permite que um modelo pondere diferentes partes da entrada ao produzir cada saída, em vez de tratar tudo com a mesma importância.

O motor calcula pontuações entre uma consulta e um conjunto de chaves, converte essas pontuações em pesos e utiliza-os para combinar valores. O resultado é um resumo ponderado que enfatiza a informação relevante. A autoatenção aplica a mesma ideia dentro de uma única sequência.

variantes comuns de atenção

• Atenção de produto escalar escalonado
• Atenção multi-cabeça com vistas paralelas
• Autoatenção dentro de uma sequência
• Atenção cruzada entre duas sequências

A arquitetura Transformer, baseada inteiramente na atenção, substituiu as redes recorrentes na maioria das tarefas de linguagem. Oferece uma melhor paralelização e captura dependências de longo alcance de forma mais eficaz, razão pela qual quase todos os grandes modelos de linguagem a utilizam.