复杂的模型会记忆。正则化会惩罚模型的复杂性，促使模型趋向于更简单的、泛化能力更强的解决方案。它是防止过拟合最可靠的工具之一。
L2 正则化会添加一个与权重平方成正比的惩罚项，使权重趋近于零。L1 正则化通过惩罚绝对值来鼓励稀疏性。Dropout 会在训练过程中随机禁用神经元，从而增强网络的鲁棒性。早停法会在验证损失不再改善时停止训练。
常用正则化方法
- L1 和 L2 重量处罚
- 辍学
- 提前停车
- 数据增强
- 批量归一化
过度正则化会导致欠拟合。模型会变得过于简单，无法捕捉真实的模式。调整正则化强度是模型设计技巧的一部分，交叉验证通常可以指导我们进行选择。
Comments (2)
Leave a comment