Не каждое слово в предложении имеет одинаковое значение. При переводе фразы «банковский счет» модели необходимо понимать, что «банк» здесь означает «финансы», а не «берег реки». Механизм внимания позволяет модели взвешивать различные части входных данных при формировании каждого выходного результата, а не рассматривать все с одинаковой важностью.

Этот механизм вычисляет оценки между запросом и набором ключей, преобразует эти оценки в веса и использует их для объединения значений. В результате получается взвешенное резюме, которое выделяет релевантную информацию. Механизм самовнимания применяет ту же идею в рамках одной последовательности.

Распространенные варианты внимания

• Масштабированное внимание к скалярному произведению
• Многоголовочное внимание с параллельными изображениями
• Самовнимание в рамках одной последовательности
• Перекрестное внимание между двумя последовательностями

Архитектура трансформера, полностью построенная на механизме внимания, заменила рекуррентные сети в большинстве языковых задач. Она лучше распараллеливает процессы и эффективнее улавливает зависимости на больших расстояниях, поэтому её используют почти все крупные языковые модели.