اللغة معقدة. فالسخرية والغموض والسياق تُربك البرامج البسيطة. أما معالجة اللغة الطبيعية فتبني أنظمة تُحلل وتُفسر وتُولد اللغة البشرية، بدءًا من مدققي الإملاء وصولًا إلى محركات الترجمة وبرامج الدردشة الآلية.
تشمل مهام خط المعالجة تجزئة النص، وتحديد أجزاء الكلام، والتحليل النحوي، والتعرف على الكيانات المسماة. أما المهام ذات المستوى الأعلى فتشمل تحليل المشاعر، والتلخيص، والإجابة على الأسئلة، والحوار. وتتولى المحولات الآن معظم هذه المهام بشكل كامل.
المهام الأساسية في معالجة اللغة الطبيعية
- التجزئة والتطبيع
- تحديد أجزاء الكلام
- التعرف على الكيانات المسماة
- تحليل المشاعر
- الترجمة الآلية
- التلخيص والإجابة على الأسئلة
يُعدّ التقييم موضع جدل. يقيس كلٌّ من BLEU وROUGE التداخل الظاهري، لا المعنى. التقييم البشري مكلف وغير متسق. قد يُنتج نموذجٌ يحقق أداءً جيدًا في معيارٍ ما مخرجاتٍ يجدها متحدثٌ بطلاقةٍ غريبة.
Comments
No comments yet. Be the first to share a thought.
Leave a comment