Tidak setiap prediksi berupa kategori. Terkadang jawabannya berupa angka: suhu besok, harga rumah, tekanan darah pasien. Regresi memprediksi nilai kontinu dari fitur masukan.

Regresi linier menyesuaikan garis lurus atau bidang hiper. Regresi polinomial menambahkan kelengkungan. Metode berbasis pohon seperti random forest dan gradient boosting menangani hubungan nonlinier tanpa rekayasa fitur eksplisit.

Metrik regresi umum

• Kesalahan absolut rata-rata
• Kesalahan kuadrat rata-rata
• Kesalahan kuadrat rata-rata akar
• R-kuadrat, proporsi varians yang dijelaskan

Nilai pencilan lebih mendistorsi metrik kesalahan kuadrat daripada metrik kesalahan absolut. Memilih fungsi kerugian yang tepat bergantung pada apakah kesalahan besar layak diberi bobot tambahan atau tidak. Pengetahuan domain biasanya menyelesaikan pertanyaan ini.