집의 크기, 위치, 연식에 관계없이 모든 집의 평균 가격을 예측하는 모델은 과소적합(underfitting) 상태입니다. 충분한 구조적 정보를 학습하지 못해 유용하게 활용되지 못하는 것입니다. 과소적합은 모델이 너무 단순하거나, 학습 시간이 너무 짧거나, 데이터의 패턴을 포착하기에 특징 추출이 너무 미흡할 때 발생합니다.

증상은 쉽게 알아챌 수 있습니다. 바로 훈련 데이터셋 자체에서 성능이 저조하다는 점입니다. 과적합은 모델이 노이즈를 암기하여 새로운 데이터에서 실패하는 현상인 반면, 과소적합은 모든 곳에서 실패합니다. 곡선에 직선을 맞추려는 시도는 훈련 데이터셋과 테스트 데이터셋 모두를 놓치게 됩니다.

일반적인 원인

• 모델의 용량이 문제의 복잡성에 비해 너무 낮습니다.
• 훈련 에포크 수가 너무 적거나 학습률이 정체되는 경우
• 입력 기능이 누락되었거나 제대로 설계되지 않았습니다.
• 가중치를 지나치게 제한하는 과도한 정규화

일반적으로 해결책은 용량을 늘리거나, 학습 시간을 늘리거나, 모델에 더 나은 입력값을 제공하는 것입니다. 하지만 때로는 문제가 모델 자체가 아니라 데이터에 있는 경우도 있습니다. 신호가 노이즈에 묻혀 있다면 어떤 아키텍처도 이를 복구할 수 없습니다. 과소적합 문제를 조기에 진단하면 몇 주간의 시간 낭비를 막을 수 있습니다.