Ein Modell, das Trainingsdaten auswendig lernt, versagt bei neuen Beispielen. Ein Modell, das Nuancen ignoriert, erkennt Muster überhaupt nicht. Die Spannung zwischen diesen Versagensarten ist der Bias-Varianz-Tradeoff, und er prägt nahezu jede Entscheidung im maschinellen Lernen.

Der Bias misst den Fehler, der durch zu einfache Annahmen entsteht. Ein hoher Bias bedeutet Unteranpassung. Die Varianz misst die Empfindlichkeit gegenüber kleinen Schwankungen in den Trainingsdaten. Eine hohe Varianz bedeutet Überanpassung. Der Gesamtfehler kombiniert beide Fehlerarten mit nicht reduzierbarem Rauschen.

Typische Signale

• Hoher Trainingsfehler, hoher Testfehler, Unteranpassung
• Niedriger Trainingsfehler, hoher Testfehler, Überanpassung
• Beide Modelle sind niedrig und gut geschnitten.
• Beide sind hoch, falsche Modellfamilie

Moderne Verfahren verkomplizieren die klassische Kurve. Große neuronale Netze können gleichzeitig geringe Verzerrung und geringe Varianz erreichen, was die ältere Theorie nicht vorhersagte. Regularisierung, mehr Daten und Ensemble-Methoden bleiben Standardwerkzeuge, um diesen Zielkonflikt zu bewältigen.