În 2017, o echipă de la Google a publicat un articol intitulat „Atenția este tot ce ai nevoie”, iar arhitectura descrisă de acesta stă la baza aproape fiecărui model lingvistic major. Transformatorul a înlocuit recurența cu autoatenția: fiecare token dintr-o secvență poate analiza direct fiecare alt token, evaluând cât de mult contează fiecare pentru predicția curentă.

Această căutare paralelă este cheia. Rețelele recurente mai vechi procesau cuvintele pe rând, ceea ce făcea ca dependențele pe termen lung să fie dificil de învățat și antrenamentul lent. Un transformator procesează întreaga secvență simultan, astfel încât un pronume de la sfârșitul unui paragraf se poate ocupa de antecedentul său de la început fără a pierde firul.

Componente de bază

• Straturi de autoatenție care calculează relațiile dintre toate perechile de tokenuri
• Atenție cu mai multe capete care execută mai multe operațiuni de atenție în paralel
• Codificări poziționale care injectează informații despre ordinea cuvintelor
• Blocuri feed-forward și conexiuni reziduale care stabilizează stivele adânci

Costul este pătratic: dublarea lungimii secvenței cvadruplează calculul atenției. Acesta este motivul pentru care ferestrele contextuale sunt scumpe și de ce cercetătorii continuă să propună variante eficiente, cum ar fi atenția dispersă și liniară.