Modelle erfassen nicht die unverfälschte Realität. Sie erfassen Merkmale, messbare Eigenschaften, die aus Daten extrahiert und einem Lernalgorithmus zugeführt werden. Ein Haus wird so zu einer Kennzahl aus Wohnfläche, Anzahl der Schlafzimmer, Alter und Lage. Ein Dokument wird zu einer Kennzahl aus Wortanzahl oder Wortvektoren.

Feature Engineering dominierte einst das angewandte maschinelle Lernen. Praktiker erstellten manuell Verhältnisse, Logarithmus-Transformationen und Interaktionsterme, um Modellen das Erkennen von Mustern zu erleichtern. Deep Learning revolutionierte diese Arbeitsweise, indem es Netzwerken ermöglicht, Merkmale direkt aus den Rohdaten zu lernen.

Gemeinsame Merkmalsarten

• Numerische Werte wie Preis oder Temperatur
• Kategorische Bezeichnungen, die als Zahlen kodiert sind
• Text in Zählwerte oder Vektoren umgewandelt
• Bildpixel oder gelernte Einbettungen
• Abgeleitete Verhältnisse und Wechselwirkungen

Gute Merkmale liefern aussagekräftige Informationen. Redundante oder verrauschte Merkmale verlangsamen das Training und beeinträchtigen die Generalisierung. Merkmalsauswahl und -extraktion bleiben wichtig, insbesondere bei kleinen Datensätzen, bei denen Deep Learning nur geringe Vorteile bietet.