Taal is complex. Sarcasme, dubbelzinnigheid en context zorgen ervoor dat naïeve programma's er niet goed mee overweg kunnen. Natuurlijke taalverwerking bouwt systemen die menselijke taal analyseren, interpreteren en genereren, van spellingscontroleprogramma's en vertaalmachines tot chatbots.

Pipelinetaken omvatten tokenisatie, part-of-speech tagging, parsing en named entity recognition. Taken op een hoger niveau omvatten sentimentanalyse, samenvatting, vraagbeantwoording en dialoogverwerking. Transformers verzorgen nu de meeste van deze taken van begin tot eind.

Kerntaken van NLP

• Tokenisatie en normalisatie
• Woordsoortmarkering
• Named entity recognition
• Sentimentanalyse
• Machinevertaling
• Samenvatten en vragen beantwoorden

Evaluatie is controversieel. BLEU en ROUGE meten oppervlakkige overlapping, niet de betekenis. Menselijke evaluatie is duur en inconsistent. Een model dat goed scoort op een benchmark, kan nog steeds output produceren die een vloeiende spreker vreemd vindt.