Sprog er rodet. Sarkasme, flertydighed og kontekst sætter naive programmer i stå. Naturlig sprogbehandling bygger systemer, der analyserer, fortolker og genererer menneskeligt sprog, lige fra stavekontrollere til oversættelsesmaskiner og chatbots.

Pipeline-opgaver omfatter tokenisering, ordklasse-tagging, parsing og genkendelse af navngivne enheder. Opgaver på højere niveau omfatter sentimentanalyse, opsummering, besvarelse af spørgsmål og dialog. Transformers håndterer nu de fleste af disse end-to-end.

Kerne-NLP-opgaver

• Tokenisering og normalisering
• Ordklasse-mærkning
• Genkendelse af navngivne enheder
• Stemningsanalyse
• Maskinoversættelse
• Opsummering og besvarelse af spørgsmål

Evaluering er omstridt. BLEU og ROUGE måler overfladeoverlap, ikke betydning. Menneskelig evaluering er dyr og inkonsekvent. En model, der scorer godt på en benchmark, kan stadig producere output, som en flydende taler finder mærkeligt.