प्रत्येक मॉडल उस ज्ञान का संक्षिप्त रूप होता है जो उसे दिया जाता है। प्रशिक्षण डेटा वह आहार है: उदाहरणों का वह संग्रह जिसका अध्ययन मशीन लर्निंग सिस्टम किसी भी उपयोगी कार्य को करने से पहले करता है। एक चेहरे की पहचान करने वाला मॉडल लाखों चिह्नित चित्रों से सीख सकता है। एक शतरंज इंजन लाखों खेलों से सीखता है। एक मेडिकल क्लासिफायर रेडियोलॉजिस्ट द्वारा एनोटेट किए गए स्कैन से सीखता है।

वॉल्यूम मददगार होता है, लेकिन कंपोजीशन ज़्यादा मायने रखती है। अगर पोर्ट्रेट में गोरे और पुरुष ज़्यादा हों, तो मॉडल सांवली त्वचा और महिलाओं पर काम नहीं करेगा। अगर गेम डेटा सिर्फ़ शौकिया खिलाड़ियों से आता है, तो इंजन की कार्यक्षमता स्थिर हो जाएगी। शोधकर्ता इसे डिस्ट्रीब्यूशन शिफ्ट कहते हैं, और यह उन सबसे आम कारणों में से एक है जिनकी वजह से लैब में शानदार दिखने वाला मॉडल असल दुनिया में नाकाम हो जाता है।

व्यावहारिक चिंताएँ

• लेबल की गुणवत्ता: शोरगुल भरे या पक्षपातपूर्ण एनोटेशन मॉडल को दूषित कर देते हैं।
• सहमति और लाइसेंस: वेब से प्राप्त डेटा में कानूनी जोखिम हो सकता है
• गोपनीयता: व्यक्तिगत जानकारी को अक्सर मिटाना या गुमनाम करना आवश्यक होता है।
• प्रतिनिधित्व: दुर्लभ समूहों के लिए जानबूझकर अधिक नमूना लेने की आवश्यकता है

डेटा की सफाई और उसे व्यवस्थित करने में आमतौर पर मशीन लर्निंग प्रोजेक्ट का 60 से 80 प्रतिशत समय लगता है। आकर्षक हिस्सा आर्किटेक्चर होता है; निर्णायक हिस्सा डेटासेट होता है।