Không phải mọi dự đoán đều là một danh mục. Đôi khi câu trả lời là một con số: nhiệt độ ngày mai, giá nhà, huyết áp của bệnh nhân. Hồi quy dự đoán các giá trị liên tục từ các đặc trưng đầu vào.

Hồi quy tuyến tính phù hợp với đường thẳng hoặc siêu phẳng. Hồi quy đa thức bổ sung thêm độ cong. Các phương pháp dựa trên cây như rừng ngẫu nhiên và tăng cường độ dốc xử lý các mối quan hệ phi tuyến tính mà không cần kỹ thuật đặc trưng rõ ràng.

Các chỉ số hồi quy phổ biến

• sai số tuyệt đối trung bình
• Sai số bình phương trung bình
• sai số bình phương trung bình gốc
• R-squared, tỷ lệ phương sai được giải thích

Các giá trị ngoại lệ làm sai lệch các chỉ số sai số bình phương nhiều hơn so với các chỉ số sai số tuyệt đối. Việc lựa chọn hàm mất mát phù hợp phụ thuộc vào việc các sai số lớn có đáng được trọng số hóa thêm hay không. Kiến thức chuyên môn thường giúp giải quyết vấn đề này.