Überwachtes Lernen benötigt Antworten. Ein Label ist der Zielwert, der einem Trainingsbeispiel zugeordnet wird – das, was das Modell vorhersagen soll. Ein Katzenbild mit dem Label „Katze“. Ein Kreditantrag mit dem Label „Zahlungsausfall“ oder „zurückgezahlt“. Ein Satz mit dem Label „positiv“ oder „negativ“.

Die Qualität der Labels bestimmt die Modellqualität. Fehlerhafte Labels führen dazu, dass das Modell Fehler reproduziert. Mehrdeutige Labels verwischen die Entscheidungsgrenze. Fehlende Labels verursachen Lücken in der Abdeckung. Praktiker wenden deutlich mehr Zeit für die Labelerstellung auf, als Außenstehende erwarten.

Gängige Kennzeichnungsansätze

• Menschliche Annotation durch geschulte Mitarbeiter
• Crowdsourcing mit Qualitätskontrollen
• Automatische Kennzeichnung mittels Heuristiken
• Schwache Aufsicht aus verschiedenen Quellen
• Aktives Lernen zur Priorisierung unsicherer Fälle

Manche Aufgaben erfordern Experten für die Datenkennzeichnung. Medizinische Bildgebung, juristische Dokumente und wissenschaftliche Daten setzen Fachwissen voraus, das Laien nicht vermitteln können. Die Kosten für die Expertenkennzeichnung machen oft einen Großteil des Budgets eines neuen Projekts aus.