Huấn luyện một mô hình Transformer với đủ lượng văn bản và nó bắt đầu làm được nhiều hơn là chỉ dự đoán từ tiếp theo. Các mô hình ngôn ngữ quy mô lớn có thể tạo ra các bài luận, trả lời câu hỏi, viết mã và dịch giữa các ngôn ngữ. Quy mô, cả về tham số và dữ liệu, quyết định khả năng của chúng.

Các mô hình này học các mẫu thống kê từ hàng tỷ token. Chúng không lưu trữ dữ liệu trong cơ sở dữ liệu. Kiến thức được phân bổ theo trọng số, đó là lý do tại sao chúng có thể hoạt động trơn tru và sai cùng một lúc. Ảo giác là một hệ quả tự nhiên của kiến ​​trúc, chứ không phải là một lỗi cần được vá.

Khả năng chung

• Tạo và tóm tắt văn bản
• Trả lời câu hỏi và suy luận
• Dịch thuật và viết lại
• Tạo mã và gỡ lỗi
• Tương tác hội thoại

Việc triển khai đặt ra nhiều vấn đề. Chi phí đào tạo lên đến hàng triệu đô la. Suy luận tốn kém ở quy mô lớn. Vấn đề bản quyền và quyền riêng tư đi kèm với dữ liệu đào tạo. Công việc hiệu chỉnh cố gắng định hướng hành vi, nhưng không có phương pháp nào đảm bảo mô hình sẽ luôn phản hồi như mong muốn.