Trening trenger en poengsum. Tapsfunksjonen måler hvor feil en modells prediksjoner er, noe som gir optimalisatoren noe å minimere. Kryssentropi for klassifisering. Gjennomsnittlig kvadratfeil for regresjon. Tilpassede tap for spesialiserte oppgaver.

Valget former atferd. En modell trent på kryssentropi lærer kalibrerte sannsynligheter. En modell trent på hengselstap lærer en margin. To modeller med identiske arkitekturer og data kan oppføre seg svært forskjellig avhengig av hva du ber dem om å minimere.

Vanlige tapsfunksjoner

• Gjennomsnittlig kvadratfeil for regresjon
• Kryssentropi for klassifisering
• Hengselstap for marginbaserte klassifikatorer
• Kontrastivt tap for innebygginger
• Tripletttap for likhetslæring

Ubalanserte data kompliserer tap. En klassifikator trent på kryssentropi vil favorisere majoritetsklassen med mindre vektene justeres. Fokaltap og klassevekting løser problemet, på bekostning av ytterligere finjustering.