रैखिक संक्रियाओं को एक के ऊपर एक रखने पर भी आपको एक सीधी रेखा ही मिलेगी। परतों के बीच एक सक्रियण फ़ंक्शन जोड़ने पर नेटवर्क मुड़ जाता है। यही मोड़ न्यूरल नेटवर्क को वक्र, किनारे और ऐसी हर चीज़ को मॉडल करने की क्षमता देता है जिसे सीधी अंकगणित कैप्चर नहीं कर सकती।

रेक्टिफाइड लीनियर यूनिट्स (ReLU) आधुनिक तकनीकों में प्रमुखता से उपयोग की जाती हैं। ये नकारात्मक इनपुट के लिए शून्य आउटपुट देती हैं और सकारात्मक मानों को अपरिवर्तित रखती हैं। इनकी गणना सस्ती होती है और ये तेजी से प्रशिक्षित होती हैं। सिग्मॉइड और टैन्ह पहले आए थे, जो आउटपुट को सीमित श्रेणियों में समेट देते थे, लेकिन वे गहरे नेटवर्क में संतृप्ति और सीखने की प्रक्रिया को धीमा कर देते हैं।

सामान्य सक्रियण कार्य

• ReLU, अधिकांश डीप नेटवर्क के लिए डिफ़ॉल्ट विधि है।
• लीकी रीएलयू, जो नकारात्मक मानों के लिए एक छोटा ग्रेडिएंट प्रदान करता है।
• सिग्मॉइड, बाइनरी आउटपुट के लिए उपयोग किया जाता है
• तान्ह, शून्य-केंद्रित स्क्वैशिंग
• सॉफ्टमैक्स, स्कोर को संभावनाओं में परिवर्तित करना

गलत चुनाव मायने रखता है। केवल रेखीय सक्रियणों का नेटवर्क, चाहे आप कितनी भी परतें जोड़ दें, अंततः एक एकल रेखीय रूपांतरण में सिमट जाता है। अरैखिकता केवल सजावट नहीं है। गहराई का महत्व इसी कारण है।