Modellen zien niet de rauwe realiteit. Ze zien kenmerken, de meetbare eigenschappen die uit data worden gehaald en aan een leerprogramma worden doorgegeven. Een huis wordt bijvoorbeeld weergegeven als oppervlakte, aantal slaapkamers, leeftijd en locatie. Een document wordt weergegeven als woordtelling of embedding.

Feature engineering domineerde ooit de toegepaste machine learning. Beoefenaars ontwierpen handmatig verhoudingen, logaritmische transformaties en interactietermen om modellen te helpen patronen te vinden. Deep learning veranderde dit, waardoor netwerken kenmerken rechtstreeks uit ruwe input konden leren.

Veelvoorkomende kenmerktypen

• Numerieke waarden zoals prijs of temperatuur
• Categorische labels gecodeerd als getallen
• Tekst omgezet in tellingen of vectoren
• Beeldpixels of geleerde embeddings
• Afgeleide verhoudingen en interacties

Goede kenmerken bevatten een signaal. Redundante of ruisende kenmerken vertragen de training en belemmeren de generalisatie. Kenmerkselectie en -extractie blijven belangrijk, vooral bij kleine datasets waar deep learning weinig voordeel biedt.