정확도는 실패를 숨깁니다. 아무것도 탐지하지 못하는 사기 탐지기는 거의 매번 정확하지만, 쓸모가 없습니다. 정밀도와 재현율은 이러한 상충 관계를 드러냅니다. 정밀도는 예측된 양성 사례 중 실제로 양성인 사례가 몇 개인지를 묻고, 재현율은 실제로 양성으로 판명된 사례가 몇 개인지를 묻습니다.

두 요소는 서로 상충됩니다. 임계값을 높이면 오탐은 줄어들지만 실제 양성을 놓치는 경우가 늘어나 정밀도는 향상되지만 재현율은 떨어집니다. 반대로 임계값을 낮추면 그 반대가 됩니다. 적절한 균형점은 어떤 오류가 더 큰 손실을 가져오는지에 따라 달라집니다.

둘 중 하나를 선택하세요

• 오탐이 큰 손실로 이어질 때 높은 정확도가 요구됩니다.
• 높은 회상률, 양성 결과를 놓치는 것이 위험할 때
• F1 점수 (두 가지 모두 동일하게 중요할 경우)
• 임계값 선택을 위한 정밀도-재현율 곡선

암 검진은 회상률을, 스팸 필터링은 정확도를 중요시합니다. 하지만 어느 한 지표만으로는 전체적인 상황을 파악할 수 없기 때문에, 중요한 평가 보고서에서는 두 지표를 함께 다룹니다.