Năm 2017, một nhóm nghiên cứu tại Google đã công bố một bài báo có tiêu đề "Attention Is All You Need" (Sự chú ý là tất cả những gì bạn cần), và kiến ​​trúc được mô tả trong bài báo đó hiện đang cung cấp sức mạnh cho hầu hết các mô hình ngôn ngữ lớn. Transformer đã thay thế sự lặp lại bằng cơ chế tự chú ý: mỗi token trong một chuỗi có thể trực tiếp xem xét mọi token khác, cân nhắc mức độ quan trọng của mỗi token đối với dự đoán hiện tại.

Khả năng tra cứu song song đó chính là chìa khóa. Các mạng nơ-ron hồi quy cũ xử lý từng từ một, khiến việc học các mối quan hệ phụ thuộc tầm xa trở nên khó khăn và quá trình huấn luyện chậm. Một mô-đun Transformer xử lý toàn bộ chuỗi cùng một lúc, vì vậy một đại từ ở cuối đoạn văn có thể chú ý đến tiền tố của nó ở đầu đoạn mà không làm mất mạch văn.

Các thành phần cốt lõi

• Các lớp tự chú ý tính toán mối quan hệ giữa tất cả các cặp token.
• Cơ chế chú ý đa đầu (multi-head attention) thực thi nhiều thao tác chú ý song song.
• Mã hóa vị trí chèn thông tin về thứ tự từ
• Các khối truyền tiến và các kết nối dư giúp ổn định các ngăn xếp sâu.

Chi phí là bậc hai: tăng gấp đôi độ dài chuỗi sẽ làm tăng gấp bốn lần lượng tính toán cơ chế chú ý. Đó là lý do tại sao cửa sổ ngữ cảnh lại tốn kém và tại sao các nhà nghiên cứu liên tục đề xuất các biến thể hiệu quả hơn như cơ chế chú ý thưa và tuyến tính.