狭い開口部を通してデータを押し込み、再構築を強制する。オートエンコーダーは、入力データをコンパクトな表現に圧縮し、そのボトルネックから元のデータを再構築することで学習する。ネットワークは単にコピーするだけではダメだ。重要な構造を捉える必要がある。
処理は2つの部分から構成されます。エンコーダーは入力を潜在ベクトルにマッピングし、デコーダーはそのベクトルを元の空間にマッピングします。学習によって再構成誤差が最小化され、これは平均二乗誤差または交差エントロピーで測定されることがよくあります。
一般的な用途
- 次元削減はPCAの非線形代替手段である
- ノイズ除去とは、ネットワークがノイズを除去することです。
- 再構成誤差の測定による異常検出
- 下流タスクのための事前学習
変分オートエンコーダーは、このアイデアをさらに発展させたものである。変分オートエンコーダーは、潜在空間に確率的な構造を課すことで、新たなサンプルを生成できるようにする。スパースオートエンコーダーは、コンパクトなコードを生成するためにペナルティを追加する。
Comments (2)
Leave a comment