År 2017 publicerade ett team på Google en artikel med titeln "Attention Is All You Need", och arkitekturen som beskrivs i artikeln driver nu nästan alla större språkmodeller. Transformatorn ersatte återfall med självuppmärksamhet: varje token i en sekvens kan titta direkt på alla andra tokens och väga hur mycket var och en spelar roll för den aktuella förutsägelsen.

Den parallella uppslagningen är nyckeln. Äldre återkommande nätverk bearbetade ord ett i taget, vilket gjorde långsiktiga beroenden svåra att lära sig och träningen långsam. En transformator bearbetar hela sekvensen på en gång, så ett pronomen i slutet av ett stycke kan fokusera på dess föregångare i början utan att tappa tråden.

Kärnkomponenter

• Självuppmärksamhetslager som beräknar relationer mellan alla tokenpar
• Flerhuvuduppmärksamhet som kör flera uppmärksamhetsoperationer parallellt
• Positionskodningar som injicerar information om ordföljd
• Framåtkopplade block och restförbindningar som stabiliserar djupa stackar

Kostnaden är kvadratisk: att fördubla sekvenslängden fyrdubblar uppmärksamhetsberäkningen. Det är därför kontextfönster är dyra och varför forskare fortsätter att föreslå effektiva varianter som gles och linjär uppmärksamhet.