Dil karmaşık bir şeydir. Alaycılık, belirsizlik ve bağlam, basit programları zor durumda bırakır. Doğal dil işleme, yazım denetleyicilerinden çeviri motorlarına ve sohbet botlarına kadar insan dilini ayrıştıran, yorumlayan ve üreten sistemler oluşturur.

İşlem hattı görevleri arasında belirteçleme, sözcük türü etiketleme, ayrıştırma ve adlandırılmış varlık tanıma yer alır. Daha üst düzey görevler arasında duygu analizi, özetleme, soru cevaplama ve diyalog bulunur. Transformer'lar artık bunların çoğunu uçtan uca ele almaktadır.

Temel NLP görevleri

• Tokenizasyon ve normalizasyon
• Sözcük türü etiketleme
• Adlandırılmış varlık tanıma
• Duygu analizi
• Makine çevirisi
• Özetleme ve soru cevaplama

Değerlendirme tartışmalıdır. BLEU ve ROUGE, anlamı değil, yüzeysel örtüşmeyi ölçer. İnsan değerlendirmesi pahalı ve tutarsızdır. Bir kıyaslamada iyi puan alan bir model, akıcı bir konuşmacının garip bulacağı çıktılar üretebilir.