W 2017 roku zespół Google opublikował artykuł zatytułowany „Attention Is All You Need” (Uwaga to wszystko, czego potrzebujesz), a opisana w nim architektura napędza obecnie niemal każdy główny model języka. Transformator zastąpił rekurencję samouważnością: każdy token w sekwencji może bezpośrednio analizować każdy inny token, oceniając, jak bardzo każdy z nich ma znaczenie dla bieżącej prognozy.

To równoległe wyszukiwanie jest kluczem. Starsze sieci rekurencyjne przetwarzały słowa pojedynczo, co utrudniało naukę zależności długodystansowych i spowalniało ich trenowanie. Transformator przetwarza całą sekwencję naraz, więc zaimek na końcu akapitu może odwołać się do swojego poprzednika na początku, nie tracąc wątku.

Główne komponenty

• Warstwy samouwagi obliczające relacje między wszystkimi parami tokenów
• Wielogłowicowa uwaga, która wykonuje kilka operacji uwagi równolegle
• Kodowania pozycyjne, które wstrzykują informacje o kolejności wyrazów
• Bloki sprzężenia zwrotnego i połączenia resztkowe stabilizujące głębokie stosy

Koszt jest kwadratowy: podwojenie długości sekwencji czterokrotnie zwiększa obliczenia uwagi. Dlatego okna kontekstowe są drogie i dlatego naukowcy wciąż proponują efektywne warianty, takie jak uwaga rzadka i liniowa.