Jedes Wort in einem Satz steht mit jedem anderen Wort in Beziehung. Die Selbstaufmerksamkeit berechnet diese Beziehungen innerhalb einer einzelnen Sequenz, indem jede Position Informationen von allen anderen aufnimmt. Dies ist die Kernoperation des Transformators.

Der Mechanismus wandelt jedes Token in eine Anfrage, einen Schlüssel und einen Wert um. Die Korrelationen zwischen Anfragen und Schlüsseln bestimmen die Aufmerksamkeitsgewichte, welche die Werte zu einer neuen Repräsentation kombinieren. Multi-Head-Attention führt mehrere dieser Prozesse parallel aus, um verschiedene Beziehungstypen zu erfassen.

Wichtigste Eigenschaften

• Parallele Berechnung über Positionen hinweg
• Direkte Verbindungen zwischen weit voneinander entfernten Token
• Gelernte Aufmerksamkeitsmuster
• Skalierbarkeit mit der Sequenzlänge

Die Kosten steigen quadratisch mit der Sequenzlänge, was die Menge an Text begrenzt, die ein Modell gleichzeitig verarbeiten kann. Sparse Attention, gleitende Fenster und lineare Approximationen reduzieren den Aufwand, allerdings auf Kosten der Ausdrucksstärke.