Treningsdata lærer en maskinlæringsmodell. Modellen ser eksempler og lærer forholdet mellom input og output. For et spamfilter er treningsdataene e-poster merket spam eller ikke spam. For en bildeklassifisering er det bilder merket med innholdet. For en språkmodell er det enorme mengder tekst. Modellen justerer sine interne parametere for å minimere forskjellen mellom prediksjonene og de riktige etikettene. Kvaliteten og mengden av treningsdataene bestemmer hvor godt modellen yter.

Treningsdata har flere krav. De må være representative for de virkelige dataene modellen vil møte. En modell som kun er trent på dagtidsbilder, mislykkes på nattbilder. De må merkes nøyaktig. Feilmerkede eksempler lærer modellen feil mønstre. De må være store nok til å fange opp variasjonen i dataene. For lite data fører til overtilpasning, der modellen memorerer treningseksemplene i stedet for å lære generelle mønstre. De må være fri for skjevheter, ellers vil modellen lære og forsterke denne skjevheten. Treningsdata er også et personvernproblem. Modeller trent på personopplysninger kan memorere og reprodusere dem. Regelverk krever i økende grad dokumentasjon av treningsdatakilder og behandling. Dataene er ikke bare en input. De er en forpliktelse og en ressurs. Modellen er bare så god som dataene den lærte fra.

Krav til opplæringsdata

• Representativ – gjenspeiler variasjon i den virkelige verden
• Merket – nøyaktig sannhet på bakken
• Store – nok eksempler til å generalisere
• Upartisk – ingen systematisk skjevhet
• Dokumentert – opprinnelse og bearbeiding kjent

Treningsdata er læreren. Modellen lærer hva dataene viser. Dårlige data gir dårlige leksjoner.