Les modèles complexes mémorisent. La régularisation pénalise la complexité, orientant le modèle vers des solutions plus simples qui généralisent mieux. C'est l'un des outils les plus fiables contre le surapprentissage.

La régularisation L2 ajoute une pénalité proportionnelle au carré des poids, les réduisant à zéro. La régularisation L1 favorise la parcimonie en pénalisant les valeurs absolues. Le dropout désactive aléatoirement des neurones pendant l'entraînement, ce qui rend le réseau robuste. L'arrêt précoce interrompt l'entraînement lorsque la perte de validation cesse de s'améliorer.

Méthodes de régularisation courantes

• Pénalités de poids L1 et L2
• Abandonner
• Arrêt précoce
• Augmentation des données
• Normalisation par lots

Une régularisation excessive entraîne un sous-apprentissage. Le modèle devient alors trop simple pour saisir les tendances réelles. Ajuster la force de la régularisation fait partie intégrante de la pratique, et la validation croisée guide généralement ce choix.