2017'de Google'daki bir ekip "İhtiyacınız Olan Tek Şey Dikkattir" başlıklı bir makale yayınladı ve bu makalede tanımlanan mimari, günümüzde neredeyse tüm büyük dil modellerine güç veriyor. Transformer, tekrarlamayı öz-dikkat ile değiştirdi: bir dizideki her belirteç, diğer her belirtece doğrudan bakabilir ve her birinin mevcut tahmin için ne kadar önemli olduğunu değerlendirebilir.

Paralel arama burada kilit nokta. Eski tekrarlayan ağlar kelimeleri tek tek işliyordu, bu da uzun menzilli bağımlılıkları öğrenmeyi zorlaştırıyor ve eğitimi yavaşlatıyordu. Bir transformatör tüm diziyi bir kerede işler, böylece bir paragrafın sonundaki bir zamir, konuyu kaybetmeden baştaki öncülüne bakabilir.

Temel bileşenler

• Tüm belirteç çiftleri arasındaki ilişkileri hesaplayan öz dikkat katmanları.
• Birden fazla dikkat işlemini paralel olarak yürüten çok başlı dikkat mekanizması.
• Söz dizimi bilgisi ekleyen konumsal kodlamalar
• Derin yığınları stabilize eden ileri besleme blokları ve artık bağlantılar

Maliyet kareseldir: dizi uzunluğunu ikiye katlamak, dikkat hesaplamasını dört katına çıkarır. Bu nedenle bağlam pencereleri pahalıdır ve araştırmacılar seyrek ve doğrusal dikkat gibi verimli varyantlar önermeye devam etmektedir.