Fiecare model este o reflectare comprimată a ceea ce a primit. Datele de antrenament reprezintă acea dietă: colecția de exemple pe care un sistem de învățare automată le studiază înainte de a i se cere să facă ceva util. Un model de recunoaștere facială ar putea învăța din milioane de portrete etichetate. Un motor de șah învață din milioane de jocuri. Un clasificator medical învață din scanări adnotate de radiologi.

Volumul ajută, dar compoziția contează mai mult. Dacă portretele prezintă albi și bărbați înclinați, modelul va eșua pe persoane cu pielea mai închisă la culoare și pe femei. Dacă datele jocului provin doar de la jucători amatori, motorul de joc va stagna. Cercetătorii numesc acest lucru schimbare de distribuție și este unul dintre cele mai frecvente motive pentru care un model care arată excelent în laborator se împiedică în realitate.

Preocupări practice

• Calitatea etichetelor: adnotările zgomotoase sau părtinitoare afectează negativ modelul
• Consimțământ și licențiere: datele extrase de pe web pot prezenta riscuri juridice
• Confidențialitate: informațiile personale trebuie adesea șterse sau anonimizate
• Reprezentare: grupurile rare necesită o supraeșantionare deliberată

Curățarea și selectarea datelor consumă de obicei între 60 și 80% din timpul unui proiect de învățare automată. Partea atrăgătoare este arhitectura; partea decisivă este setul de date.