Språk er rotete. Sarkasme, tvetydighet og kontekst setter naive programmer i fare. Naturlig språkbehandling bygger systemer som analyserer, tolker og genererer menneskelig språk, fra stavekontrollører til oversettelsesmotorer og chatboter.

Pipeline-oppgaver inkluderer tokenisering, ordklassetagging, parsing og gjenkjenning av navngitte enheter. Oppgaver på høyere nivå inkluderer sentimentanalyse, oppsummering, spørsmålsbesvarelse og dialog. Transformers håndterer nå de fleste av disse ende-til-ende.

Kjerneoppgaver i NLP

• Tokenisering og normalisering
• Ordklassemerking
• Gjenkjenning av navngitte enheter
• Sentimentanalyse
• Maskinoversettelse
• Oppsummering og besvarelse av spørsmål

Evaluering er omstridt. BLEU og ROUGE måler overflateoverlapping, ikke mening. Menneskelig evaluering er dyr og inkonsekvent. En modell som scorer godt på en referanse kan fortsatt produsere resultater som en flytende taler synes er merkelige.