Bir cümledeki her kelime, diğer her kelimeyle ilişkilendirilebilir. Öz-dikkat mekanizması, bu ilişkileri tek bir dizi içinde hesaplar ve her konumun diğerlerinden bilgi toplamasına olanak tanır. Bu, transformatörün içindeki temel işlemdir.

Bu mekanizma, her bir belirteci bir sorgu, anahtar ve değer olarak yansıtır. Sorgular ve anahtarlar arasındaki puanlar, değerleri yeni bir gösterime dönüştüren dikkat ağırlıklarını belirler. Çoklu başlı dikkat mekanizması, farklı ilişki türlerini yakalamak için bunlardan birkaçını paralel olarak çalıştırır.

Başlıca özellikler

• Pozisyonlar arası paralel hesaplama
• Uzak belirteçler arasında doğrudan yollar
• Öğrenilmiş dikkat kalıpları
• Dizi uzunluğuna bağlı ölçeklenebilirlik

Maliyet, dizi uzunluğuyla karesel olarak artar; bu da bir modelin aynı anda işleyebileceği metin miktarını sınırlar. Seyrek dikkat mekanizması, kayan pencereler ve doğrusal yaklaşımlar, ifade gücünde bir miktar kayıp pahasına yükü azaltır.