Không phải mọi từ trong một câu đều quan trọng như nhau. Khi dịch cụm từ "tài khoản ngân hàng", mô hình cần biết rằng "ngân hàng" ở đây có nghĩa là tài chính, chứ không phải "bên bờ sông". Cơ chế "attention" cho phép mô hình cân nhắc các phần khác nhau của đầu vào khi tạo ra mỗi đầu ra, thay vì coi mọi thứ đều quan trọng như nhau.

Cơ chế này tính toán điểm số giữa một truy vấn và một tập hợp các khóa, chuyển đổi các điểm số đó thành trọng số, và sử dụng chúng để kết hợp các giá trị. Kết quả là một bản tóm tắt có trọng số nhấn mạnh thông tin liên quan. Cơ chế tự chú ý áp dụng ý tưởng tương tự trong một chuỗi duy nhất.

Các biến thể chú ý phổ biến

• Chú ý tích vô hướng được điều chỉnh
• Cơ chế chú ý đa đầu với các góc nhìn song song
• Tự chú ý trong một chuỗi
• Sự chú ý chéo giữa hai chuỗi

Kiến trúc Transformer được xây dựng hoàn toàn dựa trên cơ chế chú ý đã thay thế mạng nơ-ron hồi quy trong hầu hết các tác vụ xử lý ngôn ngữ. Nó có khả năng song song hóa tốt hơn và nắm bắt các mối quan hệ phụ thuộc tầm xa hiệu quả hơn, đó là lý do tại sao hầu hết các mô hình xử lý ngôn ngữ lớn đều sử dụng nó.