훈련 데이터에서는 99%의 정확도를 보이지만 새로운 데이터에서는 60%의 정확도를 보이는 모델은 잘못된 학습을 한 것입니다. 과적합이란 근본적인 패턴 대신 노이즈와 특이점을 암기하는 것을 의미하며, 응용 머신러닝에서 가장 흔한 실패 원인입니다.

위험 신호는 쉽게 포착할 수 있습니다. 학습 손실은 계속 감소하는 반면 검증 손실은 증가합니다. 모델은 이미 학습한 예제에서는 좋은 성능을 보이지만 그 외의 예제에서는 형편없는 성능을 보입니다. 모델의 복잡성, 작은 데이터셋, 그리고 긴 학습 시간은 모두 이러한 위험을 증가시킵니다.

일반적인 대응책

• 더 많은 훈련 데이터
• 가중치 감소와 같은 정규화
• 훈련 중 중도 포기
• 검증 손실에 따른 조기 종료
• 더 간단한 모델 아키텍처
• 데이터 증강

과소적합은 그 반대의 문제로, 모델이 너무 단순해서 패턴을 전혀 포착하지 못하는 경우입니다. 목표는 모델이 암기하지 않고 일반화할 수 있는 중간 지점을 찾는 것입니다.