복잡한 모델은 데이터를 암기합니다. 정규화는 복잡성에 페널티를 부여하여 모델이 더 단순하고 일반화 성능이 뛰어난 방향으로 나아가도록 유도합니다. 이는 과적합을 방지하는 가장 효과적인 도구 중 하나입니다.
L2 정규화는 가중치의 제곱에 비례하는 페널티를 추가하여 가중치를 0에 가깝게 줄입니다. L1 정규화는 절댓값에 페널티를 부여하여 희소성을 유도합니다. 드롭아웃은 학습 중에 무작위로 뉴런을 비활성화하여 네트워크의 강건성을 높입니다. 조기 종료는 검증 손실이 더 이상 개선되지 않을 때 학습을 중단합니다.
일반적인 정규화 방법
- L1 및 L2 중량 페널티
- 중퇴자
- 조기 정지
- 데이터 증강
- 배치 정규화
과도한 정규화는 과소적합을 초래합니다. 모델이 너무 단순해져서 실제 패턴을 포착하지 못하게 되는 것이죠. 정규화 강도를 조절하는 것은 숙련된 기술의 일부이며, 교차 검증을 통해 적절한 강도를 선택할 수 있습니다.
Comments (2)
Leave a comment