語言很複雜。諷刺、歧義和語境會讓簡單的程序束手無策。自然語言處理建構的系統能夠解析、解釋和產生人類語言，從拼字檢查器到翻譯引擎再到聊天機器人，無所不包。

管線任務包括分詞、詞性標註、句法分析和命名實體辨識。更高層次的任務包括情緒分析、摘要產生、問答系統和對話生成。 Transformer 模型現在可以端到端地處理其中大部分任務。

核心自然語言處理任務

• 分詞和規範化
• 詞性標註
• 命名實體識別
• 情緒分析
• 機器翻譯
• 總結與問答

評估方法存在爭議。 BLEU 和 ROUGE 衡量的是表面重疊度，而非意義。人工評估成本高且結果不一致。即使模型在基準測試中得分很高，其輸出結果也可能令母語流利者感到奇怪。