2017 में गूगल की एक टीम ने "अटेंशन इज़ ऑल यू नीड" शीर्षक से एक शोध पत्र प्रकाशित किया, और इसमें वर्णित आर्किटेक्चर अब लगभग हर प्रमुख भाषा मॉडल को शक्ति प्रदान करता है। इस ट्रांसफ़ॉर्मर ने पुनरावृति को स्व-ध्यान से बदल दिया: एक अनुक्रम में प्रत्येक टोकन सीधे दूसरे टोकन को देख सकता है, और यह आकलन कर सकता है कि वर्तमान भविष्यवाणी के लिए प्रत्येक टोकन कितना महत्वपूर्ण है।

समानांतर खोज ही कुंजी है। पुराने आवर्ती नेटवर्क शब्दों को एक-एक करके संसाधित करते थे, जिससे लंबी दूरी की निर्भरताओं को सीखना कठिन हो जाता था और प्रशिक्षण धीमा हो जाता था। एक ट्रांसफ़ॉर्मर पूरी अनुक्रम को एक साथ संसाधित करता है, इसलिए एक पैराग्राफ के अंत में एक सर्वनाम शुरुआत में अपने पूर्ववर्ती के साथ बिना क्रम खोए जुड़ सकता है।

मुख्य घटक

• स्व-ध्यान परतें जो सभी टोकन युग्मों के बीच संबंधों की गणना करती हैं
• मल्टी-हेड अटेंशन जो कई अटेंशन ऑपरेशन्स को समानांतर रूप से चलाता है
• स्थितिगत एन्कोडिंग जो शब्द क्रम की जानकारी प्रदान करती है
• फीड-फॉरवर्ड ब्लॉक और अवशिष्ट कनेक्शन जो डीप स्टैक को स्थिर करते हैं

लागत द्विघात है: अनुक्रम की लंबाई दोगुनी करने पर ध्यान गणना चौगुनी हो जाती है। यही कारण है कि संदर्भ विंडो महंगी होती हैं और शोधकर्ता विरल और रैखिक ध्यान जैसे कुशल विकल्पों का प्रस्ताव देते रहते हैं।