A língua é complexa. O sarcasmo, a ambiguidade e o contexto confundem programas inexperientes. O processamento de linguagem natural desenvolve sistemas que analisam, interpretam e geram linguagem humana, desde corretores ortográficos e motores de tradução até chatbots.

As tarefas do pipeline incluem a tokenização, a etiquetagem gramatical, a análise sintática e o reconhecimento de entidades nomeadas. As tarefas de nível superior incluem análise de sentimentos, sumarização, resposta a perguntas e diálogo. Os Transformers lidam agora com a maioria destas tarefas de ponta a ponta.

Tarefas principais de PNL

• Tokenização e normalização
• Etiquetagem gramatical
• reconhecimento de entidade nomeada
• Análise de sentimentos
• Tradução automática
• Resumo e resposta a questões

A avaliação é controversa. BLEU e ROUGE medem a sobreposição superficial, não o significado. A avaliação humana é cara e incoerente. Um modelo que obtenha uma boa pontuação num teste de referência pode ainda produzir resultados que um falante nativo considere estranhos.