Niet elke voorspelling is een categorie. Soms is het antwoord een getal: de temperatuur van morgen, een huizenprijs, de bloeddruk van een patiënt. Regressie voorspelt continue waarden op basis van invoerkenmerken.

Lineaire regressie past een rechte lijn of hypervlak aan. Polynomische regressie voegt kromming toe. Op bomen gebaseerde methoden zoals random forests en gradient boosting behandelen niet-lineaire verbanden zonder expliciete feature engineering.

Veelgebruikte regressiemetrieken

• Gemiddelde absolute fout
• Gemiddelde kwadratische fout
• Wortelgemiddelde kwadratische fout
• R-kwadraat, proportie van de verklaarde variantie

Uitschieters vertekenen kwadratische foutstatistieken meer dan absolute foutstatistieken. De keuze voor de juiste verliesfunctie hangt af van de vraag of grote fouten extra gewicht verdienen of niet. Domeinkennis geeft meestal uitsluitsel.