L'entraînement nécessite un score. La fonction de perte mesure l'erreur des prédictions d'un modèle, fournissant ainsi à l'optimiseur un paramètre à minimiser. L'entropie croisée est utilisée pour la classification, l'erreur quadratique moyenne pour la régression, et des pertes personnalisées sont disponibles pour des tâches spécifiques.

Le choix influence le comportement. Un modèle entraîné sur l'entropie croisée apprend des probabilités calibrées. Un autre, entraîné sur la perte charnière, apprend une marge. Deux modèles ayant des architectures et des données identiques peuvent se comporter très différemment selon ce qu'on leur demande de minimiser.

fonctions de perte communes

• Erreur quadratique moyenne pour la régression
• Entropie croisée pour la classification
• Perte de charnière pour les classificateurs basés sur les marges
• Perte contrastive pour les plongements
• Perte triplet pour l'apprentissage de similarité

Les données déséquilibrées compliquent le calcul de la perte. Un classificateur entraîné sur l'entropie croisée privilégiera la classe majoritaire si les pondérations ne sont pas ajustées. La perte focale et la pondération des classes permettent de résoudre ce problème, moyennant un paramétrage supplémentaire.