Pada tahun 2017, sebuah tim di Google menerbitkan sebuah makalah berjudul "Attention Is All You Need," dan arsitektur yang dijelaskan di dalamnya kini mendukung hampir semua model bahasa utama. Transformer tersebut menggantikan rekurensi dengan self-attention: setiap token dalam sebuah urutan dapat melihat setiap token lainnya secara langsung, mempertimbangkan seberapa penting masing-masing token untuk prediksi saat ini.

Pencarian paralel itulah kuncinya. Jaringan berulang yang lebih lama memproses kata satu per satu, yang membuat ketergantungan jarak jauh sulit dipelajari dan pelatihan menjadi lambat. Sebuah transformer memproses seluruh urutan sekaligus, sehingga sebuah kata ganti di akhir paragraf dapat memperhatikan antesedennya di awal tanpa kehilangan alur cerita.

Komponen inti

• Lapisan self-attention yang menghitung hubungan antara semua pasangan token.
• Perhatian multi-kepala yang menjalankan beberapa operasi perhatian secara paralel.
• Pengkodean posisional yang menyisipkan informasi urutan kata
• Blok umpan maju dan koneksi residual yang menstabilkan tumpukan yang dalam

Biayanya bersifat kuadratik: menggandakan panjang urutan akan melipatgandakan komputasi perhatian hingga empat kali lipat. Itulah mengapa jendela konteks mahal dan mengapa para peneliti terus mengusulkan varian yang efisien seperti perhatian sparse dan linear.