Bir cümledeki her kelime eşit derecede önemli değildir. "Banka hesabı" ifadesini çevirirken, modelin buradaki "banka" kelimesinin "finans" anlamına geldiğini, "nehir kenarı" anlamına gelmediğini bilmesi gerekir. Dikkat mekanizması, bir modelin her çıktıyı üretirken girdinin farklı bölümlerini eşit önemde ele almak yerine, farklı açılardan değerlendirmesini sağlar.

Bu mekanizma, bir sorgu ile bir dizi anahtar arasında puanlar hesaplar, bu puanları ağırlıklara dönüştürür ve değerleri birleştirmek için kullanır. Sonuç, ilgili bilgileri vurgulayan ağırlıklı bir özet olur. Öz dikkat mekanizması ise aynı fikri tek bir dizi içinde uygular.

Yaygın dikkat varyantları

• Ölçeklendirilmiş nokta çarpımı dikkati
• Paralel görünümlerle çoklu kafa dikkat sistemi
• Bir sekans içindeki öz-dikkat
• İki sekans arasında çapraz dikkat

Tamamen dikkat mekanizması üzerine kurulu transformatör mimarisi, çoğu dil görevi için tekrarlayan ağların yerini aldı. Daha iyi paralelleştirme sağlıyor ve uzun menzilli bağımlılıkları daha etkili bir şekilde yakalıyor; bu nedenle neredeyse tüm büyük dil modelleri bunu kullanıyor.