Sprache ist komplex. Sarkasmus, Mehrdeutigkeiten und der Kontext bringen einfache Programme an ihre Grenzen. Die Verarbeitung natürlicher Sprache (NLP) ermöglicht die Entwicklung von Systemen, die menschliche Sprache analysieren, interpretieren und generieren – von Rechtschreibprüfungen über Übersetzungsprogramme bis hin zu Chatbots.

Zu den Aufgaben der Pipeline gehören Tokenisierung, Wortartenbestimmung, Parsing und Named Entity Recognition. Weiterführende Aufgaben umfassen Stimmungsanalyse, Zusammenfassung, Fragebeantwortung und Dialogführung. Transformer übernehmen mittlerweile die meisten dieser Prozesse vollständig.

Kernaufgaben der NLP

• Tokenisierung und Normalisierung
• Wortartenbestimmung
• Named Entity Recognition
• Stimmungsanalyse
• Maschinelle Übersetzung
• Zusammenfassung und Beantwortung von Fragen

Die Evaluierung ist umstritten. BLEU und ROUGE messen oberflächliche Überlappungen, nicht die Bedeutung. Menschliche Evaluierung ist aufwendig und inkonsistent. Ein Modell, das in einem Benchmark gut abschneidet, kann dennoch Ausgaben erzeugen, die ein Muttersprachler als ungewöhnlich empfindet.