単純な関数を用意し、それを多数重ね合わせ、それぞれに学習させる。ニューラルネットワークは複数の層から構成され、各層は重み、バイアス、非線形性を適用する。トレーニングによって、これらの重みがデータに合わせて調整される。

この設計は生物学的ニューロンから大まかに着想を得ているが、類似点は表面的なものだ。重要なのは、十分な容量とデータがあれば、このアーキテクチャが複雑な関数を近似できるということである。普遍近似定理はこれを裏付けているが、学習によって適切な解が見つかるかどうかについては何も述べていない。

一般的なネットワークの種類

• フィードフォワードネットワーク
• 畳み込みネットワーク
• 再帰ネットワーク
• トランスフォーマー
• グラフネットワーク

深さが重要だ。浅いネットワークでも多くの機能を近似できるが、深いネットワークは階層的な特徴をより効率的に学習できる。この効率性こそが、トレーニングが実用的になったことでディープラーニングが急速に普及した理由である。