複雜的模型會記憶複雜的訊息。正規化會懲罰模型的複雜性，使其趨向於更簡單、更泛化能力的解決方案。它是防止過度擬合最可靠的工具之一。
L2 正規化會增加一個與權重平方成正比的懲罰項，使權重趨近於零。 L1 正規化透過懲罰絕對值來鼓勵稀疏性。 Dropout 會在訓練過程中隨機停用神經元，進而增強網路的穩健性。早停法會在驗證損失不再改善時停止訓練。
常用正規化方法
- L1 和 L2 重量處罰
- 輟學
- 提早停車
- 數據增強
- 批量歸一化
過度正則化會導致欠擬合。模型會變得過於簡單，無法捕捉真實的模式。調整正規化強度是模型設計技巧的一部分，交叉驗證通常可以引導我們選擇。
Comments (2)
Leave a comment