Gegevens worden door een smalle opening geperst en vervolgens gedwongen zich te reconstrueren. Een autoencoder leert door invoer te comprimeren tot een compacte representatie en vervolgens het origineel vanuit die vernauwing te reconstrueren. Het netwerk kan niet zomaar kopiëren. Het moet de structuur vastleggen die ertoe doet.

Het werk wordt in tweeën gedeeld. De encoder zet de invoer om in een latente vector. De decoder zet die vector vervolgens terug om naar de oorspronkelijke ruimte. Training minimaliseert de reconstructiefout, die vaak wordt gemeten in de gemiddelde kwadratische fout of kruisentropie.

Veelvoorkomende toepassingen

• Dimensiereductie als niet-lineair alternatief voor PCA
• Ruisonderdrukking, waarbij het netwerk ruis verwijdert.
• Anomaliedetectie door het meten van de reconstructiefout.
• Voorbereiding op vervolgtaken

Varianten breiden het idee uit. Variationele autoencoders leggen een probabilistische structuur op aan de latente ruimte, waardoor ze nieuwe voorbeelden kunnen genereren. Sparse autoencoders voegen straffen toe om compacte codes te stimuleren.