言語は複雑だ。皮肉、曖昧さ、文脈といった要素は、単純なプログラムでは処理しきれない。自然言語処理は、スペルチェッカーから翻訳エンジン、チャットボットに至るまで、人間の言語を解析、解釈、生成するシステムを構築する。

パイプラインタスクには、トークン化、品詞タグ付け、構文解析、固有表現認識などが含まれます。より高度なタスクには、感情分析、要約、質問応答、対話などがあります。現在、トランスフォーマーはこれらのほとんどをエンドツーエンドで処理します。

コアNLPタスク

• トークン化と正規化
• 品詞タグ付け
• 固有表現認識
• 感情分析
• 機械翻訳
• 要約と質疑応答

評価方法には議論の余地がある。BLEUやROUGEは表面的な一致度を測定するものであり、意味を測定するものではない。人間による評価は費用がかかり、結果も一貫性に欠ける。ベンチマークで高得点を獲得したモデルでも、流暢な話者が不自然に感じる出力を生成する可能性がある。