डीप लर्निंग के मानक बनने से पहले, एक साथ कई लेयर्स को प्रशिक्षित करना कठिन था। डीप बिलीफ नेटवर्क्स ने प्रतिबंधित बोल्ट्ज़मैन मशीनों को स्टैक करके, प्रत्येक लेयर को ग्रीडी तरीके से प्रशिक्षित करके, और फिर पूरे स्टैक को फाइन-ट्यून करके इस समस्या का समाधान प्रस्तुत किया।

प्रत्येक परत अपने से नीचे वाली परत का प्रतिनिधित्व सीखती है। ऊपरी परतें अमूर्त विशेषताओं को ग्रहण करती हैं। क्योंकि प्रशिक्षण परत दर परत होता है, इसलिए प्रवणताएँ गायब नहीं होतीं जैसा कि पहले के गहन आर्किटेक्चर में होता था।

संरचना और प्रशिक्षण

• स्टैक्ड प्रतिबंधित बोल्ट्ज़मैन मशीनें
• अनसुपरवाइज्ड प्रीट्रेनिंग परत दर परत
• लेबल किए गए डेटा पर पर्यवेक्षित फाइन-ट्यूनिंग
• शीर्ष स्तर पर उत्पादक क्षमताएं

DBN ने 2000 के दशक के मध्य में काफी प्रभाव डाला और डीप आर्किटेक्चर में रुचि को पुनर्जीवित करने में मदद की। आधुनिक पद्धति में ReLU नेटवर्क, बैच नॉर्मलाइज़ेशन और बेहतर ऑप्टिमाइज़र का उपयोग किया जाता है, जो लालची लेयरवाइज़ दृष्टिकोण के बिना एंड-टू-एंड प्रशिक्षण प्रदान करते हैं।