Nem minden predikció egy kategória. Néha a válasz egy szám: holnapi hőmérséklet, egy ház ára, egy beteg vérnyomása. A regresszió folytonos értékeket jósol a bemeneti jellemzőkből.

A lineáris regresszió egyenes vonalat vagy hipersíkot illeszt. A polinomiális regresszió görbületet ad hozzá. A fa alapú módszerek, mint például a véletlenszerű erdők és a gradiensnövelés, nemlineáris kapcsolatokat kezelnek explicit jellemzőtervezés nélkül.

Gyakori regressziós metrikák

• Átlagos abszolút hiba
• Átlagos négyzetes hiba
• Négyzetes középérték hiba
• R-négyzet, a variancia arányának magyarázata

A kiugró értékek jobban torzítják a négyzetes hiba metrikáit, mint az abszolút hibáét. A megfelelő veszteség megválasztása attól függ, hogy a nagy hibák megérdemelnek-e extra súlyt vagy sem. A szakterület ismerete általában eldönti a kérdést.