複雑なモデルは記憶する。正則化は複雑さにペナルティを与え、モデルをより汎化性能の高い単純な解へと導く。これは過学習を防ぐための最も信頼できるツールの1つである。
L2正則化は重みの二乗に比例するペナルティを加え、重みをゼロに近づけます。L1正則化は絶対値にペナルティを与えることでスパース性を促進します。ドロップアウトは学習中にニューロンをランダムに無効化し、ネットワークの堅牢性を高めます。早期停止は検証損失の改善が止まった時点で学習を停止します。
一般的な正則化手法
- L1およびL2の重量ペナルティ
- ドロップアウト
- 早期中止
- データ拡張
- バッチ正規化
正則化を過剰に行うと、モデルが単純化しすぎて実際のパターンを捉えられなくなる。正則化の強度を調整することは熟練を要する作業であり、通常は交差検証がその選択の指針となる。
Comments (2)
Leave a comment