Не каждое предсказание представляет собой категорию. Иногда ответом является число: температура завтрашнего дня, цена дома, артериальное давление пациента. Регрессионный анализ предсказывает непрерывные значения на основе входных данных.

Линейная регрессия аппроксимирует прямую линию или гиперплоскость. Полиномиальная регрессия добавляет кривизну. Методы на основе деревьев решений, такие как случайные леса и градиентный бустинг, обрабатывают нелинейные зависимости без явного проектирования признаков.

Общие метрики регрессии

• Средняя абсолютная ошибка
• Среднеквадратичная ошибка
• Среднеквадратичная ошибка
• R-квадрат, доля объясненной дисперсии

Выбросы искажают метрики квадратичной ошибки сильнее, чем метрики абсолютной ошибки. Выбор правильной функции потерь зависит от того, заслуживают ли большие ошибки дополнительного веса или нет. Знания предметной области обычно решают этот вопрос.