正確さは失敗を隠蔽する。何も検出しない不正検出システムはほとんどの場合正しいが、役に立たない。精度と再現率によって、そのトレードオフが明らかになる。精度は、予測された陽性のうち実際に陽性だったものがいくつあるかを問う。再現率は、実際に検出された陽性がいくつあるかを問う。

この2つの値は互いに拮抗する。閾値を上げると誤検出は減るが、真陽性を見逃すことが多くなり、精度は向上するものの再現率は低下する。閾値を下げると逆の効果が得られる。適切なバランスは、どちらのエラーがより大きな損失につながるかによって決まる。

どちらかを選ぶ

• 高精度、ただし偽陽性は高コストになる
• 陽性反応を見逃すことが危険な場合、高い再現率
• F1スコア、両方が同等に重要な場合
• 閾値選択のための適合率-再現率曲線

がん検診ではリコール率が重視される。スパムフィルタリングでは精度が重視される。どちらの指標も単独では全体像を捉えることはできないため、真剣な評価報告書では両方が併せて記載される。