Nicht jede Vorhersage lässt sich einer Kategorie zuordnen. Manchmal ist das Ergebnis eine Zahl: die morgige Temperatur, ein Hauspreis, der Blutdruck eines Patienten. Die Regression sagt kontinuierliche Werte anhand von Eingangsmerkmalen voraus.

Die lineare Regression passt eine Gerade oder Hyperebene an. Die polynomische Regression fügt Krümmungen hinzu. Baumbasierte Methoden wie Random Forests und Gradient Boosting verarbeiten nichtlineare Zusammenhänge ohne explizites Feature Engineering.

Gängige Regressionsmetriken

• Mittlerer absoluter Fehler
• Mittlerer quadratischer Fehler
• Wurzel aus dem mittleren quadratischen Fehler
• R², Anteil der erklärten Varianz

Ausreißer verzerren quadratische Fehlermetriken stärker als absolute Fehlermetriken. Die Wahl des richtigen Verlustfaktors hängt davon ab, ob große Fehler ein höheres Gewicht verdienen oder nicht. Domänenkenntnisse klären diese Frage in der Regel.