模型無法直接感知原始現實。它們感知的是特徵，即從資料中提取並輸入學習演算法的可測量屬性。例如，一棟房子會被轉換為面積、臥室數量、房齡和位置等數據；一份文件會被轉換為字數統計或單字嵌入。

特徵工程曾經主導應用機器學習領域。從業者手工設計比率、對數變換和交互項，以幫助模型發現模式。深度學習改變了這一現狀，使神經網路能夠直接從原始輸入中學習特徵。

常見特徵類型

• 價格或溫度等數值
• 分類標籤以數字形式編碼
• 文字轉換為計數或向量
• 影像像素或學習到的嵌入
• 衍生比率和相互作用

好的特徵能夠傳遞有效訊息。冗餘或雜訊特徵會減慢訓練速度並損害模型的泛化能力。特徵選擇和提取仍然至關重要，尤其是在深度學習優勢不明顯的小型資料集上。