Jedes Modell ist eine komprimierte Darstellung dessen, was ihm zugeführt wurde. Trainingsdaten sind diese Nahrung: die Sammlung von Beispielen, die ein System für maschinelles Lernen analysiert, bevor es eine sinnvolle Aufgabe erfüllen soll. Ein Gesichtserkennungsmodell lernt beispielsweise aus Millionen von annotierten Porträts. Eine Schach-Engine lernt aus Millionen von Partien. Ein medizinischer Klassifikator lernt aus Scans, die von Radiologen annotiert wurden.

Volumen ist hilfreich, aber die Komposition ist entscheidender. Sind die Porträts überwiegend weiß und männlich, versagt das Modell bei dunklerer Haut und Frauen. Stammen die Spieldaten ausschließlich von Amateurspielern, stößt die Engine an ihre Grenzen. Forscher bezeichnen dies als Verteilungsverschiebung, und sie ist einer der häufigsten Gründe, warum ein im Labor brillantes Modell in der Praxis scheitert.

Praktische Bedenken

• Labelqualität: Fehlerhafte oder voreingenommene Annotationen verfälschen das Modell.
• Einwilligung und Lizenzierung: Durch Web-Scraping gewonnene Daten können rechtliche Risiken bergen
• Datenschutz: Persönliche Daten müssen häufig bereinigt oder anonymisiert werden.
• Repräsentation: Seltene Gruppen benötigen gezielte Überrepräsentation

Die Bereinigung und Aufbereitung von Daten beansprucht typischerweise 60 bis 80 Prozent der Zeit eines Machine-Learning-Projekts. Der glamouröse Teil ist die Architektur; der entscheidende Teil ist der Datensatz.