Mỗi từ trong câu đều có thể liên quan đến mọi từ khác. Cơ chế tự chú ý tính toán các mối quan hệ đó trong một chuỗi duy nhất, cho phép mỗi vị trí thu thập thông tin từ tất cả các vị trí khác. Đây là hoạt động cốt lõi bên trong bộ chuyển đổi (transformer).

Cơ chế này chiếu mỗi token thành một truy vấn, khóa và giá trị. Điểm số giữa các truy vấn và khóa xác định trọng số chú ý, kết hợp các giá trị thành một biểu diễn mới. Cơ chế chú ý đa đầu (multi-head attention) chạy song song nhiều cơ chế này để nắm bắt các loại mối quan hệ khác nhau.

Các đặc tính chính

• Tính toán song song trên nhiều vị trí
• Đường dẫn trực tiếp giữa các token ở xa nhau
• Mô hình chú ý đã học
• Khả năng mở rộng theo độ dài chuỗi

Chi phí tăng theo bình phương độ dài chuỗi, điều này hạn chế lượng văn bản mà mô hình có thể xử lý cùng một lúc. Cơ chế chú ý thưa thớt, cửa sổ trượt và xấp xỉ tuyến tính giúp giảm gánh nặng nhưng phải trả giá bằng khả năng biểu đạt.