Язык — сложная штука. Сарказм, двусмысленность и контекст сбивают с толку наивные программы. Обработка естественного языка создает системы, которые анализируют, интерпретируют и генерируют человеческий язык, от программ проверки орфографии до систем перевода и чат-ботов.

В задачи конвейера обработки данных входят токенизация, определение частей речи, синтаксический анализ и распознавание именованных сущностей. Задачи более высокого уровня включают анализ настроения, составление резюме, ответы на вопросы и обработку диалогов. В настоящее время трансформеры обрабатывают большинство из этих задач от начала до конца.

Основные задачи НЛП

• Токенизация и нормализация
• Разметка частей речи
• Распознавание именованных сущностей
• Анализ настроений
• Машинный перевод
• Подведение итогов и ответы на вопросы

Оценка является спорной. BLEU и ROUGE измеряют поверхностное совпадение, а не смысл. Человеческая оценка обходится дорого и непоследовательна. Модель, показавшая хорошие результаты в бенчмарке, всё же может выдать результат, который владеющему языком на уровне носителя покажется странным.