Limbajul este dezordonat. Sarcasmul, ambiguitatea și contextul pun în dificultate programele naive. Prelucrarea limbajului natural construiește sisteme care analizează, interpretează și generează limbaj uman, de la corectoare ortografice la motoare de traducere și chatbot-uri.

Sarcinile din conductă includ tokenizarea, etichetarea părților de vorbire, analiza sintactică și recunoașterea entităților denumite. Sarcinile de nivel superior includ analiza sentimentelor, sumarizarea, răspunsul la întrebări și dialogul. Transformers gestionează acum majoritatea acestor sarcini de la un capăt la altul.

Sarcinile principale ale NLP

• Tokenizare și normalizare
• Etichetarea părților de vorbire
• Recunoașterea entității numite
• Analiza sentimentelor
• Traducere automată
• Rezumat și răspunsuri la întrebări

Evaluarea este contestată. BLEU și ROUGE măsoară suprafața care se suprapune, nu semnificația. Evaluarea umană este costisitoare și inconsistentă. Un model care obține un scor bun la un criteriu de referință poate produce totuși rezultate pe care un vorbitor fluent le consideră ciudate.