Каждое слово в предложении может быть связано с каждым другим словом. Механизм самовнимания вычисляет эти связи в рамках одной последовательности, позволяя каждой позиции собирать информацию от всех остальных. Это основная операция внутри трансформера.

Механизм преобразует каждый токен в запрос, ключ и значение. Соотношения между запросами и ключами определяют весовые коэффициенты внимания, которые объединяют значения в новое представление. Многоголовочный механизм внимания запускает несколько таких механизмов параллельно, чтобы улавливать различные типы взаимосвязей.

Ключевые свойства

• Параллельные вычисления по позициям
• Прямые пути между удаленными токенами
• Выученные модели внимания
• Масштабируемость в зависимости от длины последовательности

Затраты растут квадратично с длиной последовательности, что ограничивает объем текста, который модель может обрабатывать одновременно. Разреженное внимание, скользящие окна и линейные аппроксимации снижают нагрузку, но при этом снижают выразительность.