간단한 함수를 하나 만들어 여러 개의 복사본을 쌓고 각각이 학습하도록 합니다. 신경망은 여러 층으로 구성되며, 각 층은 가중치, 편향 및 비선형성을 적용합니다. 학습을 통해 이러한 가중치가 데이터에 맞게 조정됩니다.

이 디자인은 생물학적 뉴런에서 영감을 받았지만, 유사점은 표면적인 것에 불과합니다. 중요한 것은 충분한 용량과 데이터가 주어진다면 이 아키텍처가 복잡한 함수를 근사적으로 처리할 수 있다는 점입니다. 보편적 근사 정리가 이를 뒷받침하지만, 학습을 통해 최적의 해를 찾을 수 있을지에 대해서는 아무런 언급도 하지 않습니다.

일반적인 네트워크 유형

• 피드포워드 네트워크
• 컨볼루션 네트워크
• 순환 네트워크
• 트랜스포머
• 그래프 네트워크

깊이가 중요합니다. 얕은 신경망은 많은 기능을 근사화할 수 있지만, 깊은 신경망은 계층적 특징을 훨씬 효율적으로 학습합니다. 바로 이러한 효율성 때문에 딥러닝 학습이 실용화되면서 폭발적인 인기를 얻게 된 것입니다.