O treino requer uma pontuação. A função de perda mede o quão erradas são as previsões de um modelo, fornecendo ao otimizador algo a ser minimizado. Entropia cruzada para classificação. Erro quadrático médio para a regressão. Perdas personalizadas para tarefas especializadas.

A escolha molda o comportamento. Um modelo treinado com entropia cruzada aprende probabilidades calibradas. Um modelo treinado com a função de perda hinge aprende uma margem. Dois modelos com arquiteturas e dados idênticos podem comportar-se de forma muito diferente, dependendo do que lhes pede para minimizar.

Funções de perda comuns

• Erro quadrático médio para a regressão
• Entropia cruzada para classificação
• Perda de dobradiça para classificadores baseados em margem
• Perda contrastiva para incorporações
• Perda tripla para aprendizagem de similaridade

Dados desequilibrados complicam a perda. Um classificador treinado com base na entropia cruzada favorecerá a classe maioritária, a menos que os pesos sejam ajustados. A perda focal e a ponderação de classes resolvem este problema, com o custo de ajustes adicionais.