Training vereist een score. De verliesfunctie meet hoe onnauwkeurig de voorspellingen van een model zijn, waardoor de optimizer iets heeft om te minimaliseren. Kruisentropie voor classificatie. Gemiddelde kwadratische fout voor regressie. Aangepaste verliesfuncties voor specifieke taken.

De keuze bepaalt het gedrag. Een model dat getraind is op kruisentropie leert gekalibreerde waarschijnlijkheden. Een model dat getraind is op hinge loss leert een marge. Twee modellen met identieke architecturen en data kunnen zich heel verschillend gedragen, afhankelijk van wat je ze laat minimaliseren.

Veelvoorkomende verliesfuncties

• Gemiddelde kwadratische fout voor regressie
• Kruisentropie voor classificatie
• Scharnierverlies voor op marges gebaseerde classificatoren
• Contrastief verlies voor embeddings
• Tripletverlies voor gelijkenisleren

Onevenwichtige data bemoeilijken het verlies. Een classificator die getraind is op kruisentropie zal de meerderheidsklasse bevoordelen, tenzij de gewichten worden aangepast. Focal loss en klasseweging pakken dit probleem aan, ten koste van extra afstemming.