Język jest chaotyczny. Sarkazm, niejednoznaczność i kontekst utrudniają pracę naiwnym programom. Przetwarzanie języka naturalnego buduje systemy, które analizują, interpretują i generują język ludzki – od programów do sprawdzania pisowni, przez silniki tłumaczeń, po chatboty.

Zadania potokowe obejmują tokenizację, tagowanie części mowy, parsowanie i rozpoznawanie jednostek nazwanych. Zadania wyższego poziomu obejmują analizę sentymentu, podsumowania, odpowiadanie na pytania i dialogi. Transformatory obsługują teraz większość z tych zadań kompleksowo.

Podstawowe zadania NLP

• Tokenizacja i normalizacja
• Oznaczanie części mowy
• Rozpoznawanie jednostek nazwanych
• Analiza sentymentu
• Tłumaczenie maszynowe
• Podsumowanie i odpowiadanie na pytania

Ocena jest kontrowersyjna. BLEU i ROUGE mierzą nakładanie się powierzchni, a nie znaczenie. Ocena dokonywana przez człowieka jest kosztowna i niespójna. Model, który dobrze wypada w teście porównawczym, może nadal generować wyniki, które osoba płynnie mówiąca uzna za dziwne.