Ambil sebuah fungsi sederhana, tumpuk banyak salinannya, dan biarkan masing-masing belajar. Jaringan saraf adalah komposisi dari beberapa lapisan, di mana setiap lapisan menerapkan bobot, bias, dan nonlinieritas. Pelatihan menyesuaikan bobot tersebut agar sesuai dengan data.

Desainnya terinspirasi secara longgar oleh neuron biologis, meskipun kemiripannya hanya bersifat dangkal. Yang penting adalah arsitektur tersebut dapat mendekati fungsi kompleks jika memiliki kapasitas dan data yang cukup. Teorema aproksimasi universal mendukung hal ini, meskipun teorema tersebut tidak mengatakan apa pun tentang apakah pelatihan akan menemukan solusi yang baik.

Jenis jaringan umum

• Jaringan umpan maju
• Jaringan konvolusional
• Jaringan berulang
• Transformers
• Jaringan grafik

Kedalaman sangat membantu. Jaringan yang dangkal dapat mendekati banyak fungsi, tetapi jaringan yang dalam mempelajari fitur hierarkis dengan lebih efisien. Efisiensi itulah yang membuat pembelajaran mendalam berkembang pesat setelah pelatihan menjadi praktis.