I 2017 publiserte et team hos Google en artikkel med tittelen «Attention Is All You Need» (oppmerksomhet er alt du trenger), og arkitekturen den beskrev driver nå nesten alle større språkmodeller. Transformatoren erstattet gjentakelse med selvoppmerksomhet: hvert token i en sekvens kan se direkte på alle andre token, og veie hvor mye hver enkelt betyr for den nåværende prediksjonen.

Det parallelle oppslaget er nøkkelen. Eldre tilbakevendende nettverk behandlet ord ett om gangen, noe som gjorde langsiktige avhengigheter vanskelige å lære og trening treg. En transformator behandler hele sekvensen samtidig, slik at et pronomen på slutten av et avsnitt kan fokusere på sin forgjenger i begynnelsen uten å miste tråden.

Kjernekomponenter

• Selvoppmerksomhetslag som beregner forholdet mellom alle tokenpar
• Flerhodeoppmerksomhet som kjører flere oppmerksomhetsoperasjoner parallelt
• Posisjonskodinger som injiserer ordrekkefølgeinformasjon
• Fremoverrettede blokker og restforbindelser som stabiliserer dype stabler

Kostnaden er kvadratisk: å doble sekvenslengden firedobler oppmerksomhetsberegningen. Det er derfor kontekstvinduer er dyre, og derfor fortsetter forskere å foreslå effektive varianter som sparsom og lineær oppmerksomhet.