Dane treningowe uczą model uczenia maszynowego. Model widzi przykłady i uczy się relacji między danymi wejściowymi a wyjściowymi. W przypadku filtra spamu danymi treningowymi są wiadomości e-mail oznaczone jako spam lub nie. W przypadku klasyfikatora obrazów są to zdjęcia oznaczone ich zawartością. W przypadku modelu językowego są to ogromne ilości tekstu. Model dostosowuje swoje parametry wewnętrzne, aby zminimalizować różnice między przewidywaniami a prawidłowymi etykietami. Jakość i ilość danych treningowych decydują o skuteczności modelu.

Dane treningowe mają kilka wymagań. Muszą być reprezentatywne dla rzeczywistych danych, z którymi będzie miał do czynienia model. Model trenowany tylko na zdjęciach dziennych zawodzi na zdjęciach nocnych. Muszą być poprawnie oznaczone. Błędnie oznaczone przykłady uczą model niewłaściwych wzorców. Muszą być wystarczająco duże, aby uchwycić zmienność danych. Zbyt mała ilość danych prowadzi do przeuczenia, w którym model zapamiętuje przykłady treningowe zamiast uczyć się ogólnych wzorców. Muszą być wolne od błędów, w przeciwnym razie model będzie się uczył i wzmacniał te błędy. Dane treningowe są również kwestią prywatności. Modele trenowane na danych osobowych mogą je zapamiętywać i odtwarzać. Ramy regulacyjne coraz częściej wymagają dokumentowania źródeł danych treningowych i przetwarzania. Dane to nie tylko dane wejściowe. To obciążenie i atut. Model jest tak dobry, jak dane, z których się uczył.

Wymagania dotyczące danych szkoleniowych

• Reprezentatywny — odzwierciedla zmienność w świecie rzeczywistym
• Oznaczone etykietą — dokładna prawda
• Duży — wystarczająco dużo przykładów, aby uogólnić
• Obiektywny — bez systematycznych odchyleń
• Udokumentowane — znane pochodzenie i przetwarzanie

Dane treningowe są nauczycielem. Model uczy się tego, co pokazują dane. Złe dane uczą złych lekcji.