Ngôn ngữ rất phức tạp. Sự châm biếm, mơ hồ và ngữ cảnh làm khó các chương trình đơn giản. Xử lý ngôn ngữ tự nhiên xây dựng các hệ thống phân tích, diễn giải và tạo ra ngôn ngữ con người, từ các công cụ kiểm tra chính tả đến các công cụ dịch thuật và chatbot.

Các tác vụ trong quy trình xử lý bao gồm phân tách từ, gắn thẻ từ loại, phân tích cú pháp và nhận dạng thực thể được đặt tên. Các tác vụ cấp cao hơn bao gồm phân tích cảm xúc, tóm tắt, trả lời câu hỏi và hội thoại. Hiện nay, Transformer xử lý hầu hết các tác vụ này từ đầu đến cuối.

Các nhiệm vụ NLP cốt lõi

• Mã hóa và chuẩn hóa
• Gắn thẻ từ loại
• Nhận dạng thực thể được đặt tên
• Phân tích cảm xúc
• Dịch máy
• Tóm tắt và trả lời câu hỏi

Việc đánh giá còn gây tranh cãi. BLEU và ROUGE đo lường sự trùng lặp về bề mặt, chứ không phải ý nghĩa. Đánh giá của con người tốn kém và không nhất quán. Một mô hình đạt điểm cao trên một bài kiểm tra chuẩn vẫn có thể tạo ra kết quả mà người nói thông thạo thấy kỳ lạ.