Latih sebuah transformer dengan cukup banyak teks dan ia mulai melakukan lebih dari sekadar memprediksi kata berikutnya. Model bahasa yang besar menghasilkan esai, menjawab pertanyaan, menulis kode, dan menerjemahkan antar bahasa. Skala, baik dalam parameter maupun data, mendorong kemampuan tersebut.

Model-model ini mempelajari pola statistik di antara miliaran token. Mereka tidak menyimpan fakta dalam basis data. Pengetahuan didistribusikan di seluruh bobot, itulah sebabnya mereka bisa fasih dan salah pada saat yang bersamaan. Halusinasi adalah konsekuensi alami dari arsitektur tersebut, bukan bug yang perlu diperbaiki.

Kemampuan umum

• Pembuatan dan peringkasan teks
• Menjawab pertanyaan dan bernalar
• Penerjemahan dan penulisan ulang
• Pembuatan kode dan debugging
• Interaksi percakapan

Implementasi menimbulkan berbagai masalah. Pelatihan membutuhkan biaya jutaan dolar. Inferensi menjadi mahal dalam skala besar. Kekhawatiran terkait hak cipta dan privasi menyertai data pelatihan. Pekerjaan penyelarasan mencoba mengarahkan perilaku, tetapi tidak ada metode yang menjamin model akan selalu merespons sesuai yang diharapkan.