El lenguaje es complejo. El sarcasmo, la ambigüedad y el contexto dificultan el trabajo de los programas menos experimentados. El procesamiento del lenguaje natural crea sistemas que analizan, interpretan y generan lenguaje humano, desde correctores ortográficos hasta motores de traducción y chatbots.

Las tareas del pipeline incluyen tokenización, etiquetado gramatical, análisis sintáctico y reconocimiento de entidades nombradas. Las tareas de nivel superior incluyen análisis de sentimiento, resumen, respuesta a preguntas y diálogo. Los transformadores ahora gestionan la mayoría de estas tareas de principio a fin.

Tareas principales de PLN

• Tokenización y normalización
• Etiquetado de partes de la oración
• Reconocimiento de entidades nombradas
• Análisis de sentimientos
• Traducción automática
• Resumen y respuesta a preguntas

La evaluación es objeto de controversia. BLEU y ROUGE miden la superposición superficial, no el significado. La evaluación humana es costosa e inconsistente. Un modelo que obtiene una buena puntuación en una prueba de referencia aún puede producir resultados que un hablante fluido considere extraños.