Η γλώσσα είναι ακατάστατη. Ο σαρκασμός, η ασάφεια και τα συμφραζόμενα βάζουν σε κίνδυνο τα αφελή προγράμματα. Η επεξεργασία φυσικής γλώσσας δημιουργεί συστήματα που αναλύουν, ερμηνεύουν και παράγουν ανθρώπινη γλώσσα, από ορθογραφικούς ελέγχους μέχρι μηχανές μετάφρασης και chatbots.

Οι εργασίες αγωγού περιλαμβάνουν την δημιουργία διακριτικών, την επισήμανση μέρους του λόγου, την ανάλυση και την αναγνώριση ονομασμένης οντότητας. Οι εργασίες υψηλότερου επιπέδου περιλαμβάνουν την ανάλυση συναισθημάτων, τη σύνοψη, την απάντηση ερωτήσεων και τον διάλογο. Οι μετασχηματιστές πλέον χειρίζονται τα περισσότερα από αυτά από άκρο σε άκρο.

Βασικές εργασίες NLP

• Tokenization και κανονικοποίηση
• Ετικέτες μερών ομιλίας
• Αναγνώριση ονομασμένης οντότητας
• Ανάλυση συναισθήματος
• Μηχανική μετάφραση
• Σύνοψη και απάντηση σε ερωτήσεις

Η αξιολόγηση αμφισβητείται. Οι BLEU και ROUGE μετρούν την επικάλυψη επιφανειών, όχι το νόημα. Η ανθρώπινη αξιολόγηση είναι δαπανηρή και ασυνεπής. Ένα μοντέλο που βαθμολογείται καλά σε ένα σημείο αναφοράς μπορεί να παράγει αποτελέσματα που ένας άπταιστα ομιλητής βρίσκει περίεργα.