في عام 2017، نشر فريق في جوجل ورقة بحثية بعنوان "الانتباه هو كل ما تحتاجه"، والبنية التي وصفتها هذه الورقة تُشغّل الآن جميع نماذج اللغة الرئيسية تقريبًا. استبدل نموذج المحول التكرار بالانتباه الذاتي: إذ يمكن لكل رمز في التسلسل أن ينظر إلى كل رمز آخر مباشرةً، ويُقيّم مدى أهمية كل رمز للتنبؤ الحالي.

يكمن السر في البحث المتوازي. كانت الشبكات العصبية المتكررة القديمة تعالج الكلمات واحدة تلو الأخرى، مما جعل تعلم العلاقات بعيدة المدى صعبًا وتدريبها بطيئًا. أما المحوّل، فيعالج التسلسل بأكمله دفعة واحدة، بحيث يمكن للضمير في نهاية الفقرة أن يرتبط بسابقه في البداية دون أن يفقد سياق النص.

المكونات الأساسية

• طبقات الانتباه الذاتي التي تحسب العلاقات بين جميع أزواج الرموز
• آلية انتباه متعددة الرؤوس تُشغّل عدة عمليات انتباه بالتوازي
• ترميزات موضعية تُدخل معلومات ترتيب الكلمات
• وحدات التغذية الأمامية والوصلات المتبقية التي تعمل على تثبيت الحزم العميقة

التكلفة تربيعية: مضاعفة طول التسلسل تُضاعف حساب الانتباه أربع مرات. لهذا السبب تُعدّ نوافذ السياق مكلفة، ولهذا السبب يستمر الباحثون في اقتراح بدائل فعّالة مثل الانتباه المتفرق والانتباه الخطي.