Im Jahr 2017 veröffentlichte ein Team von Google eine Studie mit dem Titel „Aufmerksamkeit ist alles, was du brauchst“. Die darin beschriebene Architektur bildet heute die Grundlage fast aller wichtigen Sprachmodelle. Der Transformer ersetzte die Rekurrenz durch Selbstaufmerksamkeit: Jedes Token in einer Sequenz kann jedes andere Token direkt betrachten und dessen Bedeutung für die aktuelle Vorhersage abwägen.

Diese parallele Suche ist der Schlüssel. Ältere rekurrente neuronale Netze verarbeiteten Wörter einzeln, was das Erlernen von Abhängigkeiten über größere Distanzen hinweg erschwerte und das Training verlangsamte. Ein Transformer verarbeitet die gesamte Sequenz auf einmal, sodass ein Pronomen am Ende eines Absatzes auf sein Bezugswort am Anfang Bezug nehmen kann, ohne den roten Faden zu verlieren.

Kernkomponenten

• Selbstaufmerksamkeitsschichten, die Beziehungen zwischen allen Tokenpaaren berechnen
• Multi-Head-Attention, die mehrere Aufmerksamkeitsoperationen parallel ausführt
• Positionskodierungen, die Informationen zur Wortreihenfolge einfügen
• Feedforward-Blöcke und Restverbindungen, die tiefe Stapel stabilisieren

Die Kosten steigen quadratisch: Eine Verdopplung der Sequenzlänge vervierfacht den Aufwand für die Aufmerksamkeitsberechnung. Deshalb sind Kontextfenster rechenintensiv, und deshalb entwickeln Forscher immer wieder effiziente Varianten wie spärliche und lineare Aufmerksamkeit.