Tidak setiap kata dalam sebuah kalimat memiliki bobot yang sama. Saat menerjemahkan frasa "rekening bank", model perlu mengetahui bahwa "bank" di sini berarti keuangan, bukan tepi sungai. Perhatian memungkinkan model untuk mempertimbangkan bagian-bagian input yang berbeda saat menghasilkan setiap output, daripada memperlakukan semuanya dengan bobot yang sama.

Mekanisme ini menghitung skor antara kueri dan sekumpulan kunci, mengubah skor tersebut menjadi bobot, dan menggunakannya untuk menggabungkan nilai. Hasilnya adalah ringkasan berbobot yang menekankan informasi yang relevan. Self-attention menerapkan ide yang sama dalam satu urutan tunggal.

Varian perhatian umum

• Perhatian produk titik berskala
• Perhatian multi-kepala dengan pandangan paralel
• Perhatian diri dalam satu rangkaian
• Perhatian silang antara dua rangkaian

Arsitektur transformer yang dibangun sepenuhnya berdasarkan mekanisme perhatian (attention) menggantikan jaringan berulang (recurrent networks) untuk sebagian besar tugas pemrosesan bahasa. Arsitektur ini memiliki kemampuan paralelisasi yang lebih baik dan menangkap ketergantungan jarak jauh secara lebih efektif, itulah sebabnya hampir setiap model bahasa besar menggunakannya.