Δεν είναι κάθε πρόβλεψη μια κατηγορία. Μερικές φορές η απάντηση είναι ένας αριθμός: η θερμοκρασία του αύριο, η τιμή ενός σπιτιού, η αρτηριακή πίεση ενός ασθενούς. Η παλινδρόμηση προβλέπει συνεχείς τιμές από τα χαρακτηριστικά εισόδου.

Η γραμμική παλινδρόμηση προσαρμόζεται σε μια ευθεία γραμμή ή υπερεπίπεδο. Η πολυωνυμική παλινδρόμηση προσθέτει καμπυλότητα. Οι μέθοδοι που βασίζονται σε δέντρα, όπως τα τυχαία δάση και η ενίσχυση κλίσης, χειρίζονται μη γραμμικές σχέσεις χωρίς σαφή μηχανική χαρακτηριστικών.

Κοινές μετρήσεις παλινδρόμησης

• Μέσο απόλυτο σφάλμα
• Μέσο τετραγωνικό σφάλμα
• Μέσο τετραγωνικό σφάλμα ρίζας
• R-τετράγωνο, εξήγηση του ποσοστού της διακύμανσης

Οι ακραίες τιμές παραμορφώνουν τις μετρήσεις τετραγωνικού σφάλματος περισσότερο από τις μετρήσεις απόλυτου σφάλματος. Η επιλογή της σωστής απώλειας εξαρτάται από το αν τα μεγάλα σφάλματα αξίζουν επιπλέον βάρος ή όχι. Η γνώση του τομέα συνήθως επιλύει το ερώτημα.