取一個簡單的函數，將其複製並堆疊成多個副本，然後讓每個副本學習。神經網路由多層組成，每一層都應用權重、偏壓和非線性項。訓練過程會調整這些權重以適應資料。

設計的設計靈感源自於生物神經元，但相似之處僅限於表面。關鍵在於，只要擁有足夠的容量和數據，架構就能近似表示複雜的函數。通用逼近定理支持這一點，但它們並未說明訓練是否能找到一個好的解決方案。

常見網路類型

• 前饋網路
• 卷積神經網絡
• 循環網絡
• 變形金剛
• 圖中網路

深度至關重要。淺層網路可以近似許多函數，但深層網路能更有效率地學習層級特徵。正是這種效率，使得深度學習在訓練變得實用後迅速發展。