Trénování potřebuje skóre. Ztrátová funkce měří, jak chybné jsou předpovědi modelu, a dává optimalizátoru něco k minimalizaci. Křížová entropie pro klasifikaci. Střední kvadratická chyba pro regresi. Vlastní ztráty pro specializované úlohy.

Volba formuje chování. Model trénovaný na křížové entropii se učí kalibrované pravděpodobnosti. Model trénovaný na ztrátě pantů se učí určitou rezervu. Dva modely s identickou architekturou a daty se mohou chovat velmi odlišně v závislosti na tom, co po nich požadujete minimalizovat.

Běžné ztrátové funkce

• Střední kvadratická chyba pro regresi
• Křížová entropie pro klasifikaci
• Ztráta pantů pro klasifikátory založené na maržích
• Kontrastivní ztráta pro vnoření
• Ztráta tripletů pro učení podobnosti

Nevyvážená data komplikují ztráty. Klasifikátor trénovaný na křížové entropii bude upřednostňovat většinovou třídu, pokud nebudou upraveny váhy. Ohnisková ztráta a vážení tříd tento problém řeší, ale za cenu dodatečného ladění.