A betanításhoz pontszám szükséges. A veszteségfüggvény azt méri, hogy mennyire tévesek egy modell előrejelzései, minimalizálandó függvényt adva az optimalizálónak. Kereszt-entropia az osztályozáshoz. Négyzetes középérték a regresszióhoz. Egyedi veszteségek speciális feladatokhoz.

A választás alakítja a viselkedést. Egy keresztentropián képzett modell kalibrált valószínűségeket tanul. Egy csuklópontveszteségen képzett modell egy tartalékot tanul meg. Két azonos architektúrájú és adatú modell nagyon eltérően viselkedhet attól függően, hogy mit kérünk tőlük minimalizálni.

Gyakori veszteségfüggvények

• Regresszió átlagos négyzetes hibája
• Kereszt-entropia az osztályozáshoz
• Csuklóveszteség margóalapú osztályozók esetén
• Kontrasztveszteség beágyazások esetén
• Triplet veszteség a hasonlósági tanuláshoz

A kiegyensúlyozatlan adatok bonyolítják a veszteséget. Egy kereszt-entrópián képzett osztályozó a többségi osztályt fogja előnyben részesíteni, hacsak nem igazítjuk a súlyokat. A fókuszveszteség és az osztályok súlyozása megoldja a problémát, további finomhangolás árán.