Jazyk je chaotický. Sarkasmus, nejednoznačnost a kontext zmást naivní programy. Zpracování přirozeného jazyka vytváří systémy, které analyzují, interpretují a generují lidský jazyk, od kontrolorů pravopisu přes překladače až po chatboty.

Mezi úlohy v rámci kanálu patří tokenizace, označování slovních druhů, parsování a rozpoznávání pojmenovaných entit. Mezi úlohy vyšší úrovně patří analýza sentimentu, sumarizace, odpovídání na otázky a dialog. Transformery nyní většinu z nich zvládají komplexně.

Základní úkoly NLP

• Tokenizace a normalizace
• Označování slovních druhů
• Rozpoznávání pojmenovaných entit
• Analýza sentimentu
• Strojový překlad
• Shrnutí a odpovědi na otázky

Hodnocení je sporné. BLEU a ROUGE měří povrchový překryv, nikoli význam. Lidské hodnocení je nákladné a nekonzistentní. Model, který v benchmarku dosahuje dobrých výsledků, může stále produkovat výstup, který plynně mluvící člověk shledá zvláštním.