Bir Transformer modelini yeterince metinle eğittiğinizde, bir sonraki kelimeyi tahmin etmekten çok daha fazlasını yapmaya başlar. Büyük dil modelleri denemeler yazar, soruları yanıtlar, kod yazar ve diller arasında çeviri yapar. Hem parametrelerde hem de verilerde ölçek, yeteneği yönlendirir.

Bu modeller milyarlarca token üzerinden istatistiksel kalıplar öğrenir. Gerçekleri bir veritabanında saklamazlar. Bilgi, ağırlıklar arasında dağıtılır; bu nedenle aynı anda hem akıcı hem de yanlış olabilirler. Yanılsama, yamalanması gereken bir hata değil, mimarinin doğal bir sonucudur.

Ortak yetenekler

• Metin oluşturma ve özetleme
• Soru cevaplama ve mantık yürütme
• Çeviri ve yeniden yazma
• Kod üretimi ve hata ayıklama
• Konuşma etkileşimi

Dağıtım sorunları beraberinde getiriyor. Eğitim milyonlarca dolara mal oluyor. Büyük ölçekte çıkarım yapmak pahalı. Eğitim verileriyle birlikte telif hakkı ve gizlilik endişeleri de geliyor. Hizalama çalışmaları davranışı yönlendirmeye çalışıyor, ancak hiçbir yöntem modelin her zaman amaçlandığı gibi yanıt vereceğini garanti etmiyor.