भार निर्धारित किए जाते हैं। हाइपरपैरामीटर चुने जाते हैं। लर्निंग रेट, बैच साइज़, लेयर्स की संख्या, ड्रॉपआउट रेट और रेगुलराइज़ेशन स्ट्रेंथ, ये सभी इस श्रेणी में आते हैं। ये नियंत्रित करते हैं कि प्रशिक्षण कैसे आगे बढ़ता है और मॉडल की संरचना कैसी होती है।

इनमें गलती करने से समय और कंप्यूटिंग शक्ति दोनों बर्बाद होती हैं। बहुत अधिक लर्निंग रेट विचलन का कारण बनता है। बहुत कम लर्निंग रेट गति को धीमा कर देता है। बैच साइज़ ग्रेडिएंट नॉइज़ और मेमोरी उपयोग को प्रभावित करता है। गहराई और चौड़ाई क्षमता निर्धारित करती हैं, जो कार्य की जटिलता और डेटा के आकार के अनुरूप होनी चाहिए।

सामान्य ट्यूनिंग विधियाँ

• एक निश्चित सेट पर ग्रिड खोज
• व्यापक कवरेज के लिए यादृच्छिक खोज
• दक्षता के लिए बायेसियन अनुकूलन
• जनसंख्या-आधारित प्रशिक्षण
• अंतर्ज्ञान द्वारा निर्देशित मैन्युअल ट्यूनिंग

ट्यूनिंग महंगी होती है। प्रत्येक कॉन्फ़िगरेशन के लिए एक पूर्ण प्रशिक्षण रन की आवश्यकता होती है, और खोज क्षेत्र तेजी से बढ़ता है। अनुभवी विशेषज्ञ स्वचालन से पहले डोमेन ज्ञान के साथ खोज क्षेत्र को सीमित करते हैं, जो अक्सर ब्रूट-फोर्स खोज से बेहतर होता है।