El entrenamiento requiere una puntuación. La función de pérdida mide el grado de error de las predicciones del modelo, proporcionando al optimizador un parámetro que minimizar. Entropía cruzada para clasificación. Error cuadrático medio para regresión. Pérdidas personalizadas para tareas especializadas.

La elección influye en el comportamiento. Un modelo entrenado con entropía cruzada aprende probabilidades calibradas. Uno entrenado con pérdida de bisagra aprende un margen. Dos modelos con arquitecturas y datos idénticos pueden comportarse de forma muy diferente según lo que se les pida que minimicen.

funciones de pérdida comunes

• Error cuadrático medio para la regresión
• Entropía cruzada para la clasificación
• Pérdida de bisagra para clasificadores basados ​​en márgenes
• Pérdida contrastiva para incrustaciones
• Pérdida de tripletes para el aprendizaje de similitud

Los datos desequilibrados complican la función de pérdida. Un clasificador entrenado con entropía cruzada favorecerá a la clase mayoritaria a menos que se ajusten los pesos. La pérdida focal y la ponderación de clases solucionan este problema, aunque a costa de un ajuste adicional.