Um modelo que obtém 99% de acerto nos dados de treino e 60% nos dados novos aprendeu a lição errada. O sobreajuste significa memorizar ruídos e idiossincrasias em vez do padrão subjacente, e é a falha mais comum na aprendizagem automática aplicada.

Os sinais são fáceis de identificar. A perda no treino continua a diminuir enquanto a perda na validação aumenta. O modelo tem um bom desempenho em exemplos que já viu e um mau desempenho em qualquer outro. A complexidade, conjuntos de dados pequenos e treino prolongado aumentam o risco.

Contramedidas comuns

• Mais dados de treino
• Regularização como a decadência de peso
• Desistência durante o treino
• Interrupção antecipada baseada na perda de validação
• Arquiteturas de modelo mais simples
• Aumento de dados

O subajuste é o problema oposto, em que o modelo é demasiado simples para captar o padrão. O objetivo é encontrar um meio-termo, em que o modelo generalize sem memorizar.