भाषा जटिल होती है। व्यंग्य, अस्पष्टता और संदर्भ जैसे कारक सरल प्रोग्रामों को भ्रमित कर देते हैं। प्राकृतिक भाषा प्रसंस्करण (नेचुरल लैंग्वेज प्रोसेसिंग) ऐसे सिस्टम विकसित करता है जो मानव भाषा को पार्स, व्याख्या और उत्पन्न करते हैं, वर्तनी जांचकर्ताओं से लेकर अनुवाद इंजनों और चैटबॉट तक।

पाइपलाइन कार्यों में टोकनाइज़ेशन, पार्ट-ऑफ-स्पीच टैगिंग, पार्सिंग और नेम्ड एंटिटी रिकग्निशन शामिल हैं। उच्च-स्तरीय कार्यों में भावना विश्लेषण, सारांश, प्रश्नोत्तर और संवाद शामिल हैं। ट्रांसफ़ॉर्मर अब इनमें से अधिकांश कार्यों को शुरू से अंत तक संभालते हैं।

कोर एनएलपी कार्य

• टोकनीकरण और सामान्यीकरण
• शब्द-भाग टैगिंग
• नामित इकाई पहचान
• भावना विश्लेषण
• मशीन अनुवाद
• सारांश और प्रश्नोत्तर

मूल्यांकन विवादित है। BLEU और ROUGE सतही ओवरलैप को मापते हैं, अर्थ को नहीं। मानवीय मूल्यांकन महंगा और असंगत होता है। एक मॉडल जो बेंचमार्क पर अच्छा स्कोर करता है, फिर भी ऐसा आउटपुट उत्पन्न कर सकता है जिसे एक धाराप्रवाह वक्ता अटपटा पाए।