Trening wymaga wyniku. Funkcja straty mierzy, jak błędne są przewidywania modelu, dając optymalizatorowi możliwość minimalizacji. Entropia krzyżowa do klasyfikacji. Błąd średniokwadratowy do regresji. Straty niestandardowe dla zadań specjalistycznych.

Wybór kształtuje zachowanie. Model trenowany na entropii krzyżowej uczy się skalibrowanych prawdopodobieństw. Model trenowany na stracie zawiasowej uczy się marginesu. Dwa modele o identycznej architekturze i danych mogą zachowywać się bardzo różnie, w zależności od tego, co poprosisz je o minimalizację.

Typowe funkcje strat

• Średni błąd kwadratowy dla regresji
• Entropia krzyżowa do klasyfikacji
• Strata zawiasowa dla klasyfikatorów opartych na marży
• Kontrastowa strata dla osadzenia
• Utrata tripletu w procesie uczenia się podobieństwa

Niezrównoważone dane komplikują straty. Klasyfikator wytrenowany na entropii krzyżowej będzie faworyzował klasę większościową, chyba że wagi zostaną skorygowane. Strata ogniskowa i ważenie klas rozwiązują ten problem, kosztem dodatkowego dostrajania.