वाक्य के हर शब्द का महत्व एक जैसा नहीं होता। "बैंक खाता" वाक्यांश का अनुवाद करते समय, मॉडल को यह समझना होगा कि यहाँ "बैंक" का अर्थ वित्त है, न कि नदी तट। "अटेंशन" तकनीक मॉडल को प्रत्येक आउटपुट तैयार करते समय इनपुट के विभिन्न भागों को समान महत्व देने की अनुमति देती है, बजाय इसके कि वह हर चीज़ को समान महत्व दे।

यह तंत्र किसी क्वेरी और कुंजियों के समूह के बीच स्कोर की गणना करता है, उन स्कोरों को भार में परिवर्तित करता है, और उनका उपयोग मानों को संयोजित करने के लिए करता है। परिणाम स्वरूप एक भारित सारांश प्राप्त होता है जो प्रासंगिक जानकारी पर ज़ोर देता है। स्व-ध्यान (Self-attention) एक ही अनुक्रम के भीतर इसी अवधारणा को लागू करता है।

ध्यान के सामान्य प्रकार

• स्केल्ड डॉट-प्रोडक्ट अटेंशन
• समानांतर दृश्यों के साथ मल्टी-हेड अटेंशन
• एक अनुक्रम के भीतर आत्म-ध्यान
• दो अनुक्रमों के बीच क्रॉस-अटेंशन

पूरी तरह से अटेंशन पर आधारित ट्रांसफॉर्मर आर्किटेक्चर ने अधिकांश भाषा कार्यों के लिए रिकरेंट नेटवर्क की जगह ले ली है। यह बेहतर ढंग से पैरेललाइज़ होता है और लंबी दूरी की निर्भरताओं को अधिक प्रभावी ढंग से कैप्चर करता है, यही कारण है कि लगभग हर बड़ा भाषा मॉडल इसका उपयोग करता है।