Toutes les prédictions ne sont pas des catégories. Parfois, la réponse est un nombre : la température de demain, le prix d’une maison, la tension artérielle d’un patient. La régression prédit des valeurs continues à partir de variables d’entrée.

La régression linéaire ajuste une droite ou un hyperplan. La régression polynomiale introduit une courbure. Les méthodes arborescentes, comme les forêts aléatoires et le gradient boosting, traitent les relations non linéaires sans ingénierie explicite des caractéristiques.

Métriques de régression courantes

• Erreur absolue moyenne
• Erreur quadratique moyenne
• Erreur quadratique moyenne
• R², proportion de variance expliquée

Les valeurs aberrantes faussent davantage les métriques d'erreur quadratique que celles d'erreur absolue. Le choix de la fonction de perte appropriée dépend de l'importance à accorder ou non une pondération supplémentaire aux erreurs importantes. La connaissance du domaine permet généralement de trancher la question.