В 2017 году команда Google опубликовала статью под названием «Внимание — это всё, что вам нужно», и описанная в ней архитектура теперь лежит в основе почти всех основных языковых моделей. Трансформатор заменил рекуррентность самовниманием: каждый токен в последовательности может напрямую взаимодействовать с каждым другим токеном, оценивая, насколько важен каждый из них для текущего предсказания.

Ключевым моментом является параллельный поиск. Более старые рекуррентные сети обрабатывали слова по одному, что затрудняло изучение зависимостей на больших расстояниях и замедляло обучение. Трансформер обрабатывает всю последовательность сразу, поэтому местоимение в конце абзаца может взаимодействовать со своим предшественником в начале, не теряя целостности.

Основные компоненты

• Слои самовнимания, которые вычисляют взаимосвязи между всеми парами токенов.
• Многоголовочный механизм внимания, выполняющий несколько операций внимания параллельно.
• Позиционные кодировки, которые добавляют информацию о порядке слов.
• Блоки прямой связи и остаточные соединения, стабилизирующие глубокие стеки.

Затраты имеют квадратичный характер: удвоение длины последовательности увеличивает вычислительную нагрузку на механизм внимания в четыре раза. Именно поэтому контекстные окна обходятся дорого, и именно поэтому исследователи продолжают предлагать более эффективные варианты, такие как разреженное и линейное внимание.