학습에는 점수가 필요합니다. 손실 함수는 모델의 예측이 얼마나 잘못되었는지를 측정하여 최적화 알고리즘이 최소화해야 할 목표를 제공합니다. 분류에는 교차 엔트로피, 회귀에는 평균 제곱 오차가 사용됩니다. 특수한 작업에는 사용자 지정 손실 함수를 사용할 수 있습니다.
선택은 행동을 좌우합니다. 교차 엔트로피로 학습된 모델은 보정된 확률을 학습하고, 힌지 손실로 학습된 모델은 여유분을 학습합니다. 동일한 아키텍처와 데이터를 가진 두 모델이라도 최소화해야 할 목표에 따라 매우 다르게 동작할 수 있습니다.
공통 손실 함수
- 회귀 분석의 평균 제곱 오차
- 분류를 위한 교차 엔트로피
- 마진 기반 분류기를 위한 힌지 손실
- 임베딩을 위한 대조 손실
- 유사성 학습을 위한 트리플릿 손실
불균형 데이터는 손실 함수를 복잡하게 만듭니다. 교차 엔트로피로 학습된 분류기는 가중치를 조정하지 않으면 다수 클래스를 선호하는 경향이 있습니다. 포컬 손실과 클래스 가중치는 이러한 문제를 해결하지만, 추가적인 튜닝 작업이 필요합니다.
Comments (3)
Leave a comment