Her tahmin bir kategori olmak zorunda değil. Bazen cevap bir sayıdır: yarının sıcaklığı, bir evin fiyatı, bir hastanın tansiyonu. Regresyon, girdi özelliklerinden sürekli değerler tahmin eder.

Doğrusal regresyon düz bir çizgi veya hiper düzlem uydurur. Polinom regresyonu eğrilik ekler. Rastgele ormanlar ve gradyan artırma gibi ağaç tabanlı yöntemler, açık özellik mühendisliği gerektirmeden doğrusal olmayan ilişkileri ele alır.

Yaygın regresyon ölçütleri

• Ortalama mutlak hata
• Ortalama karesel hata
• Kök ortalama kare hatası
• R-kare, açıklanan varyans oranı

Aykırı değerler, mutlak hata ölçütlerinden ziyade karesel hata ölçütlerini daha fazla bozar. Doğru kayıp fonksiyonunu seçmek, büyük hataların ek ağırlığı hak edip etmediğine bağlıdır. Alan bilgisi genellikle bu soruyu çözer.