لا تتساوى جميع الكلمات في الجملة في الأهمية. فعند ترجمة عبارة "حساب مصرفي"، يحتاج النموذج إلى معرفة أن "البنك" هنا يعني "التمويل"، وليس "ضفة النهر". يتيح الانتباه للنموذج تقييم أجزاء مختلفة من المدخلات عند إنتاج كل مخرج، بدلاً من التعامل مع كل شيء بنفس القدر من الأهمية.

تقوم الآلية بحساب درجات التوافق بين الاستعلام ومجموعة من المفاتيح، ثم تحول هذه الدرجات إلى أوزان، وتستخدمها لدمج القيم. والنتيجة هي ملخص مُرجّح يُبرز المعلومات ذات الصلة. وتُطبّق آلية الانتباه الذاتي الفكرة نفسها ضمن تسلسل واحد.

متغيرات الانتباه الشائعة

• انتباه الضرب النقطي المُقاس
• انتباه متعدد الرؤوس مع مناظر متوازية
• الانتباه الذاتي ضمن تسلسل واحد
• الانتباه المتبادل بين سلسلتين

استُبدلت الشبكات العصبية المتكررة في معظم مهام اللغة ببنية المحولات المبنية بالكامل على آلية الانتباه. فهي تُحسّن التوازي وتُجسّد التبعيات بعيدة المدى بشكل أكثر فعالية، ولهذا السبب تستخدمها جميع نماذج اللغة الكبيرة تقريبًا.