Un modèle qui obtient un score de 99 % sur les données d'entraînement et de 60 % sur les nouvelles données a tiré de mauvaises conclusions. Le surapprentissage consiste à mémoriser le bruit et les particularités au lieu de la tendance sous-jacente ; c'est l'erreur la plus fréquente en apprentissage automatique appliqué.

Les signaux sont faciles à repérer : la perte d'entraînement diminue tandis que la perte de validation augmente. Le modèle fonctionne bien sur les exemples déjà vus, mais mal sur les autres. La complexité, les petits ensembles de données et la durée d'entraînement augmentent tous le risque.

contre-mesures courantes

• Données d'entraînement supplémentaires
• Régularisation telle que la décroissance du poids
• Abandon pendant la formation
• Arrêt précoce basé sur la perte de validation
• Architectures de modèles plus simples
• Augmentation des données

Le sous-apprentissage est le problème inverse : le modèle est trop simple pour saisir la tendance. L’objectif est de trouver un juste milieu, où le modèle généralise sans mémoriser.