Menekan data melalui celah sempit dan memaksanya untuk merekonstruksi. Autoencoder belajar dengan mengompres input menjadi representasi yang ringkas, kemudian membangun kembali data asli dari hambatan tersebut. Jaringan tidak bisa hanya sekadar menyalin. Jaringan harus menangkap struktur yang penting.

Dua bagian melakukan pekerjaan yang sama. Encoder memetakan input ke vektor laten. Decoder memetakan vektor tersebut kembali ke ruang asli. Pelatihan meminimalkan kesalahan rekonstruksi, yang sering diukur dalam kesalahan kuadrat rata-rata atau entropi silang.

Penggunaan umum

• Pengurangan dimensi sebagai alternatif nonlinier untuk PCA
• Penghilangan noise, di mana jaringan menghilangkan gangguan.
• Deteksi anomali dengan mengukur kesalahan rekonstruksi
• Pelatihan awal untuk tugas-tugas hilir

Varian memperluas ide tersebut. Autoencoder variasional menerapkan struktur probabilistik pada ruang laten, yang memungkinkan mereka menghasilkan sampel baru. Autoencoder sparse menambahkan penalti untuk mendorong kode yang kompak.