언어는 복잡합니다. 비꼬는 말투, 모호함, 그리고 문맥은 단순한 프로그램들을 곤경에 빠뜨립니다. 자연어 처리는 맞춤법 검사기부터 번역 엔진, 챗봇에 이르기까지 인간의 언어를 분석하고 해석하며 생성하는 시스템을 구축하는 데 사용됩니다.

파이프라인 작업에는 토큰화, 품사 태깅, 구문 분석 및 개체명 인식 등이 포함됩니다. 상위 수준 작업에는 감정 분석, 요약, 질의응답 및 대화 처리가 있습니다. Transformer는 이제 이러한 작업 대부분을 엔드투엔드로 처리합니다.

핵심 자연어 처리 작업

• 토큰화 및 정규화
• 품사 태깅
• 개체명 인식
• 감정 분석
• 기계 번역
• 요약 및 질문 답변

평가는 논란의 여지가 있습니다. BLEU와 ROUGE는 의미가 아닌 표면적인 유사성을 측정합니다. 인간의 평가는 비용이 많이 들고 일관성이 떨어집니다. 벤치마크에서 높은 점수를 받은 모델이라도 유창한 화자가 어색하게 느끼는 출력을 생성할 수 있습니다.