Antrenamentul necesită un scor. Funcția de pierdere măsoară cât de greșite sunt predicțiile unui model, oferind optimizatorului ceva de minimizat. Entropie încrucișată pentru clasificare. Eroare medie pătratică pentru regresie. Pierderi personalizate pentru sarcini specializate.

Alegerea modelează comportamentul. Un model antrenat pe entropie încrucișată învață probabilități calibrate. Unul antrenat pe pierderea de tip balamale învață o marjă. Două modele cu arhitecturi și date identice se pot comporta foarte diferit, în funcție de ceea ce li se cere să minimizeze.

Funcții comune de pierdere

• Eroarea medie pătratică pentru regresie
• Entropie încrucișată pentru clasificare
• Pierdere de tip articulație pentru clasificatorii bazați pe marjă
• Pierdere contrastivă pentru încorporări
• Pierderea tripletului pentru învățarea similarității

Datele dezechilibrate complică pierderile. Un clasificator antrenat pe baza entropiei încrucișate va favoriza clasa majoritară, cu excepția cazului în care ponderile sunt ajustate. Pierderea focală și ponderarea claselor rezolvă problema, cu prețul unor ajustări suplimentare.