Träning behöver en poäng. Förlustfunktionen mäter hur fel en modells förutsägelser är, vilket ger optimeraren något att minimera. Korsentropi för klassificering. Medelkvadratfel för regression. Anpassade förluster för specialiserade uppgifter.

Valet formar beteendet. En modell som tränats på korsentropi lär sig kalibrerade sannolikheter. En som tränats på gångjärnsförlust lär sig en marginal. Två modeller med identiska arkitekturer och data kan bete sig väldigt olika beroende på vad du ber dem att minimera.

Vanliga förlustfunktioner

• Medelkvadratfel för regression
• Korsentropi för klassificering
• Gångjärnsförlust för marginalbaserade klassificerare
• Kontrastiv förlust för inbäddningar
• Triplettförlust för likhetsinlärning

Obalanserade data komplicerar förlust. En klassificerare som tränats på korsentropi kommer att gynna majoritetsklassen om inte vikterna justeras. Fokalförlust och klassviktning åtgärdar problemet, på bekostnad av ytterligare finjustering.