将数据挤压通过狭窄的通道,并迫使其重构。自编码器通过将输入压缩成紧凑的表示,然后从这个瓶颈处重建原始数据来进行学习。网络不能简单地复制,它必须捕捉到关键的结构。
编码器和解码器分别负责将输入映射到潜在向量,解码器则将该潜在向量映射回原始空间。训练的目标是最小化重构误差,通常用均方误差或交叉熵来衡量。
常见用途
- 降维作为主成分分析的非线性替代方法
- 网络去噪过程中,网络会去除噪声。
- 通过测量重建误差进行异常检测
- 下游任务的预训练
变体扩展了这一思想。变分自编码器在潜在空间中引入概率结构,从而能够生成新的样本。稀疏自编码器则通过添加惩罚项来鼓励生成紧凑的编码。
Comments (2)
Leave a comment