训练需要一个评分。损失函数衡量模型预测的误差程度，为优化器提供最小化目标。分类任务使用交叉熵损失函数，回归任务使用均方误差损失函数，特定任务可以使用自定义损失函数。
选择决定行为。基于交叉熵训练的模型学习的是校准后的概率，而基于铰链损失训练的模型学习的是间隔。即使架构和数据完全相同，两个模型的行为也可能截然不同，这取决于你要求它们最小化的目标函数。
常见损失函数
- 回归均方误差
- 用于分类的交叉熵
- 基于间隔的分类器的铰链损失
- 嵌入的对比损失
- 用于相似性学习的三元组损失
数据不平衡会使损失函数的计算变得复杂。基于交叉熵训练的分类器会倾向于多数类，除非调整权重。焦点损失和类别加权可以解决这个问题，但需要额外的调优。
Comments (3)
Leave a comment