훈련 데이터를 암기하는 모델은 새로운 예제에 제대로 대응하지 못합니다. 미묘한 차이를 무시하는 모델은 패턴을 완전히 놓칩니다. 이러한 실패 유형 사이의 긴장 관계가 바로 편향-분산 트레이드오프이며, 이는 머신 러닝에서 거의 모든 결정에 영향을 미칩니다.

편향은 지나치게 단순한 가정에서 발생하는 오류를 측정합니다. 편향이 높다는 것은 과소적합을 의미합니다. 분산은 훈련 데이터의 작은 변동에 대한 민감도를 측정합니다. 분산이 높다는 것은 과대적합을 의미합니다. 총 오류는 이 두 가지에 더해 제거할 수 없는 노이즈까지 모두 포함합니다.

일반적인 신호

• 높은 훈련 오류, 높은 테스트 오류, 과소적합
• 훈련 오류는 낮고 테스트 오류는 높음, 과적합
• 낮고 잘 맞는 모델
• 둘 다 높고, 모델 패밀리가 잘못되었습니다.

현대의 연구 방식은 고전적인 곡선을 복잡하게 만듭니다. 대규모 신경망은 기존 이론에서는 예측하지 못했던 낮은 편향과 낮은 분산을 동시에 달성할 수 있습니다. 정규화, 더 많은 데이터, 그리고 앙상블 기법은 이러한 상충 관계를 관리하는 데 여전히 표준적인 도구로 사용됩니다.