Nie każda prognoza jest kategorią. Czasami odpowiedzią jest liczba: jutrzejsza temperatura, cena domu, ciśnienie krwi pacjenta. Regresja przewiduje wartości ciągłe na podstawie cech wejściowych.

Regresja liniowa dopasowuje linię prostą lub hiperpłaszczyznę. Regresja wielomianowa dodaje krzywiznę. Metody oparte na drzewach, takie jak lasy losowe i gradient boosting, radzą sobie z nieliniowymi zależnościami bez jawnej inżynierii cech.

Typowe wskaźniki regresji

• Średni błąd bezwzględny
• Średni błąd kwadratowy
• Średni kwadratowy błąd pierwiastka
• R-kwadrat, wyjaśniona proporcja wariancji

Wartości odstające zniekształcają metryki błędów kwadratowych bardziej niż metryki błędów bezwzględnych. Wybór właściwej straty zależy od tego, czy duże błędy zasługują na szczególną uwagę, czy nie. Wiedza o danej dziedzinie zazwyczaj rozstrzyga tę kwestię.