Model tidak melihat realitas mentah. Mereka melihat fitur, properti terukur yang diekstrak dari data dan dimasukkan ke dalam algoritma pembelajaran. Sebuah rumah menjadi luas bangunan, jumlah kamar tidur, usia, dan lokasi. Sebuah dokumen menjadi jumlah kata atau embedding.

Rekayasa fitur pernah mendominasi pembelajaran mesin terapan. Para praktisi membuat rasio, transformasi logaritma, dan istilah interaksi secara manual untuk membantu model menemukan pola. Pembelajaran mendalam menggeser pekerjaan tersebut, memungkinkan jaringan untuk mempelajari fitur langsung dari input mentah.

Jenis fitur umum

• Nilai numerik seperti harga atau suhu
• Label kategorikal yang dikodekan sebagai angka
• Teks yang dikonversi menjadi jumlah atau vektor
• Piksel gambar atau embedding yang dipelajari
• Rasio dan interaksi yang diturunkan

Fitur yang baik membawa sinyal. Fitur yang berlebihan atau bising memperlambat pelatihan dan merusak generalisasi. Pemilihan dan ekstraksi fitur tetap penting, terutama pada dataset kecil di mana pembelajaran mendalam memiliki sedikit keunggulan.