Nicht jedes Wort in einem Satz ist gleich wichtig. Bei der Übersetzung des Ausdrucks „Bankkonto“ muss das Modell wissen, dass „Bank“ hier Finanzdienstleistungen und nicht etwa „Flussufer“ bedeutet. Die Gewichtung der einzelnen Eingabedaten ermöglicht es dem Modell, bei der Berechnung der jeweiligen Ausgabe unterschiedliche Aspekte der Eingabe zu berücksichtigen, anstatt alles gleich zu behandeln.

Der Mechanismus berechnet die Übereinstimmung zwischen einer Anfrage und einer Menge von Schlüsseln, wandelt diese Übereinstimmungen in Gewichtungen um und kombiniert damit die Werte. Das Ergebnis ist eine gewichtete Zusammenfassung, die relevante Informationen hervorhebt. Self-Attention wendet dasselbe Prinzip innerhalb einer einzelnen Sequenz an.

Häufige Aufmerksamkeitsvarianten

• Skalierte Skalarprodukt-Aufmerksamkeit
• Mehrkopf-Aufmerksamkeit mit parallelen Ansichten
• Selbstaufmerksamkeit innerhalb einer Sequenz
• Kreuzaufmerksamkeit zwischen zwei Sequenzen

Die vollständig auf Aufmerksamkeitsverarbeitung basierende Transformer-Architektur hat rekurrente neuronale Netze für die meisten Sprachverarbeitungsaufgaben ersetzt. Sie ermöglicht eine bessere Parallelisierung und erfasst Langzeitabhängigkeiten effektiver, weshalb sie in nahezu allen großen Sprachmodellen Anwendung findet.