Nu orice predicție este o categorie. Uneori, răspunsul este un număr: temperatura de mâine, prețul unei case, tensiunea arterială a unui pacient. Regresia prezice valori continue din caracteristicile de intrare.

Regresia liniară se potrivește cu o linie dreaptă sau un hiperplan. Regresia polinomială adaugă curbură. Metodele bazate pe arbori, cum ar fi pădurile aleatorii și amplificarea gradienților, gestionează relațiile neliniare fără inginerie explicită a caracteristicilor.

Metrici comune de regresie

• Eroarea absolută medie
• Eroarea medie pătratică
• Eroarea medie pătratică
• R-pătrat, proporția varianței explicată

Valorile aberante distorsionează valorile erorii pătratice mai mult decât cele ale erorii absolute. Alegerea pierderii potrivite depinde de dacă erorile mari merită sau nu o pondere suplimentară. Cunoașterea domeniului rezolvă de obicei problema.