प्रशिक्षण डेटा को याद रखने वाला मॉडल नए उदाहरणों पर विफल हो जाता है। सूक्ष्म अंतरों को अनदेखा करने वाला मॉडल पैटर्न को पूरी तरह से समझने में असमर्थ रहता है। विफलता के इन दोनों तरीकों के बीच का तनाव ही बायस-वेरिएंस ट्रेडऑफ कहलाता है, और यह मशीन लर्निंग में लगभग हर निर्णय को प्रभावित करता है।

बायस, अत्यधिक सरल मान्यताओं से होने वाली त्रुटि को मापता है। उच्च बायस का अर्थ है अंडरफिटिंग। वेरिएंस, प्रशिक्षण डेटा में छोटे उतार-चढ़ाव के प्रति संवेदनशीलता को मापता है। उच्च वेरिएंस का अर्थ है ओवरफिटिंग। कुल त्रुटि में ये दोनों, साथ ही अपरिहार्य शोर भी शामिल होते हैं।

विशिष्ट संकेत

• उच्च प्रशिक्षण त्रुटि, उच्च परीक्षण त्रुटि, अंडरफिटिंग
• कम प्रशिक्षण त्रुटि, उच्च परीक्षण त्रुटि, ओवरफिटिंग
• दोनों कम ऊंचाई वाले, अच्छी तरह से फिट होने वाले मॉडल
• दोनों उच्च, गलत आदर्श परिवार

आधुनिक अभ्यास पारंपरिक वक्र को जटिल बना देता है। बड़े न्यूरल नेटवर्क एक साथ कम पूर्वाग्रह और कम विचरण प्राप्त कर सकते हैं, जिसकी भविष्यवाणी पुराने सिद्धांत ने नहीं की थी। नियमितीकरण, अधिक डेटा और समूहीकरण इस संतुलन को बनाए रखने के लिए मानक उपकरण बने हुए हैं।