In 2017 publiceerde een team van Google een paper met de titel "Attention Is All You Need", en de architectuur die daarin werd beschreven, vormt nu de basis van bijna elk belangrijk taalmodel. De transformer verving recursie door zelfaandacht: elk token in een reeks kan direct naar elk ander token kijken en afwegen hoe belangrijk elk token is voor de huidige voorspelling.

Die parallelle opzoeking is de sleutel. Oudere, terugkerende netwerken verwerkten woorden één voor één, waardoor het moeilijk was om afhankelijkheden over lange afstanden te leren en de training traag verliep. Een transformer verwerkt de hele sequentie in één keer, zodat een voornaamwoord aan het einde van een alinea kan verwijzen naar het antecedent aan het begin zonder de samenhang te verliezen.

Kerncomponenten

• Zelfaandachtslagen die relaties tussen alle tokenparen berekenen.
• Multi-head attention, waarbij meerdere aandachtoperaties parallel worden uitgevoerd.
• Positionele coderingen die informatie over de woordvolgorde injecteren
• Feedforward-blokken en restverbindingen die diepe stapels stabiliseren.

De kosten zijn kwadratisch: het verdubbelen van de sequentielengte verviervoudigt de aandachtsberekening. Daarom zijn contextvensters duur en blijven onderzoekers efficiënte varianten voorstellen, zoals schaarse en lineaire aandacht.