خذ دالة بسيطة، وقم بتكديس نسخ متعددة منها، ودع كل نسخة تتعلم. الشبكة العصبية هي عبارة عن مجموعة من الطبقات، حيث تطبق كل طبقة أوزانًا وانحيازًا ودالة غير خطية. ويُعدّل التدريب هذه الأوزان لتناسب البيانات.

يستوحي التصميم فكرته بشكلٍ عام من الخلايا العصبية البيولوجية، وإن كان التشابه سطحيًا. المهم هو قدرة هذه البنية على تقريب الدوال المعقدة عند توفر سعة وبيانات كافية. تدعم نظريات التقريب الشاملة هذا، مع أنها لا تُشير إلى ما إذا كان التدريب سيجد حلاً جيدًا أم لا.

أنواع الشبكات الشائعة

• الشبكات الأمامية
• الشبكات الالتفافية
• الشبكات المتكررة
• محولات
• شبكات الرسم البياني

يُساعد العمق. تستطيع الشبكات السطحية تقريب العديد من الوظائف، لكن الشبكات العميقة تتعلم السمات الهرمية بكفاءة أكبر. هذه الكفاءة هي السبب وراء انتشار التعلم العميق بمجرد أن أصبح التدريب عمليًا.