Пропустить данные через узкое отверстие и заставить их восстановиться. Автокодировщик обучается, сжимая входные данные в компактное представление, а затем восстанавливая оригинал, используя это узкое место. Сеть не может просто скопировать. Она должна уловить структуру, которая имеет значение.

Работа выполняется двумя частями. Кодировщик преобразует входные данные в скрытый вектор. Декодер преобразует этот вектор обратно в исходное пространство. Обучение минимизирует ошибку реконструкции, часто измеряемую среднеквадратичной ошибкой или кросс-энтропией.

Распространенные способы применения

• Снижение размерности как нелинейная альтернатива методу главных компонент (PCA).
• Шумоподавление, при котором сеть устраняет коррупцию.
• Выявление аномалий путем измерения ошибки реконструкции
• Предварительное обучение для выполнения последующих задач

Варианты развивают эту идею. Вариационные автокодировщики накладывают вероятностную структуру на латентное пространство, что позволяет им генерировать новые выборки. Разреженные автокодировщики добавляют штрафы для поощрения компактных кодов.