प्रशिक्षण डेटा पर 99 प्रतिशत और नए डेटा पर 60 प्रतिशत स्कोर करने वाले मॉडल ने गलत सबक सीखा है। ओवरफिटिंग का मतलब है अंतर्निहित पैटर्न के बजाय शोर और विशिष्टताओं को याद रखना, और यह व्यावहारिक मशीन लर्निंग में सबसे आम विफलता है।

संकेतों को पहचानना आसान है। प्रशिक्षण के दौरान होने वाला नुकसान लगातार घटता जाता है जबकि सत्यापन के दौरान होने वाला नुकसान बढ़ता जाता है। मॉडल उन उदाहरणों पर अच्छा प्रदर्शन करता है जिन्हें वह पहले देख चुका है और बाकी सभी पर खराब। जटिलता, छोटे डेटासेट और लंबा प्रशिक्षण, ये सभी जोखिम को बढ़ाते हैं।

सामान्य प्रतिउपाय

• अधिक प्रशिक्षण डेटा
• वजन में कमी जैसी नियमितीकरण प्रक्रिया
• प्रशिक्षण के दौरान बीच में ही छोड़ देना
• सत्यापन हानि के आधार पर शीघ्र रोकना
• सरल मॉडल आर्किटेक्चर
• डेटा संवर्धन

अंडरफिटिंग इसके विपरीत समस्या है, जहाँ मॉडल इतना सरल होता है कि वह पैटर्न को बिल्कुल भी पकड़ नहीं पाता। लक्ष्य मध्य मार्ग है, जहाँ मॉडल बिना कुछ याद रखे सामान्यीकरण कर पाता है।