كل كلمة في الجملة ترتبط بكل كلمة أخرى. تحسب آلية الانتباه الذاتي هذه العلاقات ضمن تسلسل واحد، مما يسمح لكل موضع بجمع المعلومات من جميع المواضع الأخرى. إنها العملية الأساسية داخل المحوّل.

تقوم الآلية بتحويل كل رمز إلى استعلام ومفتاح وقيمة. وتُحدد الدرجات بين الاستعلامات والمفاتيح أوزان الانتباه، التي تجمع القيم في تمثيل جديد. ويعمل الانتباه متعدد الرؤوس على تشغيل عدة من هذه العمليات بالتوازي لالتقاط أنواع مختلفة من العلاقات.

الخصائص الرئيسية

• الحساب المتوازي عبر المواقع
• مسارات مباشرة بين الرموز البعيدة
• أنماط الانتباه المكتسبة
• قابلية التوسع مع طول التسلسل

تزداد التكلفة بشكل تربيعي مع طول التسلسل، مما يحد من كمية النصوص التي يمكن للنموذج معالجتها في وقت واحد. تعمل تقنيات الانتباه المتفرق، والنوافذ المنزلقة، والتقريبات الخطية على تقليل العبء على حساب القدرة التعبيرية.