قم بتكديس العمليات الخطية وستحصل على خط مستقيم. أضف دالة تنشيط بين الطبقات وستحصل على انحناء في الشبكة. هذا الانحناء هو ما يسمح للشبكة العصبية بنمذجة المنحنيات والحواف وكل شيء آخر لا تستطيع العمليات الحسابية البسيطة استيعابه.

تُهيمن وحدات التنشيط الخطي المُعدّلة (ReLU) على الممارسات الحديثة. فهي تُخرج صفرًا للمدخلات السالبة، وتُمرر القيم الموجبة دون تغيير. تتميز بسهولة حسابها وسرعة تدريبها. ظهرت دالتا سيجمويد وتانه أولًا، حيث تعملان على ضغط المخرجات ضمن نطاقات محدودة، لكنهما تُسببان تشبعًا وتُبطئان عملية التعلم في الشبكات العميقة.

وظائف التنشيط الشائعة

• دالة ReLU هي الدالة الافتراضية لمعظم الشبكات العميقة
• دالة ReLU المتسربة، تسمح بتدرج صغير للقيم السالبة
• دالة سيجمويد، تُستخدم للمخرجات الثنائية
• تانه، ضغط مركزه الصفر
• دالة سوفتماكس، لتحويل الدرجات إلى احتمالات

الاختيار الخاطئ له عواقب وخيمة. فشبكة التنشيطات الخطية فقط تنهار إلى تحويل خطي واحد، مهما بلغ عدد الطبقات. اللاخطية ليست مجرد زينة، بل هي السبب الرئيسي لأهمية العمق.