Bahasa itu rumit. Sarkasme, ambiguitas, dan konteks dapat menjebak program-program yang kurang berpengalaman. Pemrosesan bahasa alami membangun sistem yang mengurai, menafsirkan, dan menghasilkan bahasa manusia, mulai dari pemeriksa ejaan hingga mesin penerjemahan hingga chatbot.

Tugas-tugas pipeline meliputi tokenisasi, penandaan bagian ucapan, penguraian, dan pengenalan entitas bernama. Tugas-tugas tingkat yang lebih tinggi meliputi analisis sentimen, peringkasan, menjawab pertanyaan, dan dialog. Transformer kini menangani sebagian besar tugas-tugas ini secara menyeluruh.

Tugas inti NLP

• Tokenisasi dan normalisasi
• Penandaan bagian ujaran
• Pengenalan entitas bernama
• Analisis sentimen
• Terjemahan mesin
• Ringkasan dan tanya jawab

Evaluasi masih diperdebatkan. BLEU dan ROUGE mengukur tumpang tindih permukaan, bukan makna. Evaluasi manusia mahal dan tidak konsisten. Model yang mendapat skor bagus pada tolok ukur mungkin masih menghasilkan keluaran yang dianggap aneh oleh penutur fasih.