No todas las predicciones son categorías. A veces la respuesta es un número: la temperatura de mañana, el precio de una vivienda, la presión arterial de un paciente. La regresión predice valores continuos a partir de las características de entrada.

La regresión lineal ajusta una línea recta o un hiperplano. La regresión polinómica añade curvatura. Los métodos basados ​​en árboles, como los bosques aleatorios y el aumento de gradiente, manejan relaciones no lineales sin ingeniería de características explícita.

Métricas de regresión comunes

• Error absoluto medio
• Error cuadrático medio
• error cuadrático medio
• R cuadrado, proporción de varianza explicada

Los valores atípicos distorsionan más las métricas de error cuadrático que las de error absoluto. Elegir la función de pérdida adecuada depende de si los errores grandes merecen mayor ponderación o no. El conocimiento del dominio suele resolver la cuestión.