A nyelv kusza. A szarkazmus, a kétértelműség és a kontextus megbuktatja a naiv programokat. A természetes nyelvi feldolgozás olyan rendszereket épít, amelyek elemzik, értelmezik és generálják az emberi nyelvet, a helyesírás-ellenőrzőktől a fordítómotorokon át a chatbotokig.

A folyamatban lévő feladatok közé tartozik a tokenizálás, a szófaji címkézés, az elemzés és az elnevezett entitások felismerése. A magasabb szintű feladatok közé tartozik a hangulatelemzés, az összefoglalás, a kérdések megválaszolása és a párbeszéd. A Transformers ma már ezek nagy részét teljes körűen kezeli.

Alapvető NLP feladatok

• Tokenizálás és normalizálás
• Szófaji címkézés
• Megnevezett entitás felismerése
• Hangulatelemzés
• Gépi fordítás
• Összefoglalás és kérdésmegoldás

Az értékelés vitatott. A BLEU és a ROUGE a felszíni átfedést méri, nem a jelentést. Az emberi értékelés drága és következetlen. Egy modell, amely jól teljesít egy benchmarkon, mégis olyan kimenetet produkálhat, amelyet egy folyékonyan beszélő furcsának talál.