Setiap kata dalam sebuah kalimat dapat berhubungan dengan setiap kata lainnya. Self-attention menghitung hubungan-hubungan tersebut dalam satu rangkaian tunggal, memungkinkan setiap posisi mengumpulkan informasi dari semua posisi lainnya. Ini adalah operasi inti di dalam transformer.

Mekanisme ini memproyeksikan setiap token ke dalam kueri, kunci, dan nilai. Skor antara kueri dan kunci menentukan bobot perhatian, yang menggabungkan nilai-nilai tersebut menjadi representasi baru. Perhatian multi-kepala menjalankan beberapa mekanisme ini secara paralel untuk menangkap berbagai jenis hubungan.

Properti utama

• Komputasi paralel di seluruh posisi
• Jalur langsung antara token yang berjauhan
• Pola perhatian yang dipelajari
• Skalabilitas dengan panjang urutan

Biaya meningkat secara kuadratik dengan panjang urutan, yang membatasi seberapa banyak teks yang dapat diproses oleh model sekaligus. Perhatian jarang (sparse attention), jendela geser (sliding windows), dan perkiraan linier mengurangi beban dengan mengorbankan kemampuan ekspresi.