將數據擠壓通過狹窄的通道,並迫使其重構。自編碼器透過將輸入壓縮成緊湊的表示,然後從這個瓶頸重建原始資料來進行學習。網路不能簡單地複製,它必須捕捉關鍵的結構。
編碼器和解碼器分別負責將輸入映射到潛在向量,解碼器則將該潛在向量映射回原始空間。訓練的目標是最小化重建誤差,通常用均方誤差或交叉熵來衡量。
常見用途
- 降維作為主成分分析的非線性替代方法
- 網路去噪過程中,網路會去除雜訊。
- 透過測量重建誤差進行異常檢測
- 下游任務的預訓練
變體擴展了這一思想。變分自編碼器在潛在空間中引入機率結構,從而能夠產生新的樣本。稀疏自編碼器則透過添加懲罰項來鼓勵產生緊湊的編碼。
Comments (2)
Leave a comment