वाक्य का प्रत्येक शब्द दूसरे प्रत्येक शब्द से संबंधित हो सकता है। स्व-ध्यान (Self-attention) एक ही क्रम में इन संबंधों की गणना करता है, जिससे प्रत्येक स्थिति अन्य सभी स्थितियों से जानकारी प्राप्त कर पाती है। यह ट्रांसफार्मर के भीतर की मूल क्रिया है।

यह तंत्र प्रत्येक टोकन को एक क्वेरी, कुंजी और मान में प्रोजेक्ट करता है। क्वेरी और कुंजी के बीच के स्कोर ध्यान भार निर्धारित करते हैं, जो मानों को एक नए प्रतिनिधित्व में संयोजित करते हैं। मल्टी-हेड अटेंशन विभिन्न प्रकार के संबंधों को कैप्चर करने के लिए इनमें से कई को समानांतर रूप से चलाता है।

मुख्य विशेषताएं

• विभिन्न स्थितियों में समानांतर गणना
• दूरस्थ टोकनों के बीच सीधे पथ
• सीखे हुए ध्यान पैटर्न
• अनुक्रम की लंबाई के साथ स्केलेबिलिटी

अनुक्रम की लंबाई के साथ लागत वर्ग के अनुपात में बढ़ती है, जिससे यह सीमित हो जाता है कि कोई मॉडल एक बार में कितना पाठ संसाधित कर सकता है। विरल ध्यान, स्लाइडिंग विंडो और रैखिक सन्निकटन अभिव्यक्ति क्षमता में कुछ कमी के बावजूद इस बोझ को कम करते हैं।