每個模型都是對其所輸入資料的壓縮反映。訓練資料就好比是這部分「飲食」：它是機器學習系統在被要求執行任何有用任務之前所學習的一系列範例。人臉辨識模型可以從數百萬張標籤的肖像中學習。西洋棋引擎可以從數百萬局棋中學習。醫學分類器可以從放射科醫師標註的掃描影像中學習。

數據量固然重要，但構圖更為關鍵。如果人物肖像以白人男性為主，那麼模型在膚色較深的女性角色上的表現就會不佳。如果遊戲數據只來自業餘玩家，引擎的效能就會停滯不前。研究人員將這種分佈偏移稱為分佈偏移，這也是模型在實驗室中表現出色但在實際應用中表現不佳的最常見原因之一。

實際問題

• 標籤品質：雜訊或有偏差的標註會損害模型。
• 同意與許可：網路抓取的資料可能有法律風險
• 隱私：個人資訊通常需要清理或匿名化處理。
• 代表性：稀有族群需要刻意進行過採樣

資料清洗和整理通常會佔用機器學習專案 60% 到 80% 的時間。架構設計固然引人注目，但資料集才是決定成敗的關鍵。