精度は問題を隠蔽する。混同行列は問題を明らかにする。この表は予測ラベルと実際のラベルをクロス集計し、分類器がどこで成功し、どこで失敗したかを正確に示す。

行は通常、実際の分類結果を表し、列は予測結果を表します。対角線上のセルには正しい分類結果が示されます。対角線以外のセルには、良性腫瘍が悪性と予測されるなど、特定の誤りが示されています。これらのセルのパターンを分析することで、改善策を見つけることができます。

派生指標

• 精度：予測された陽性のうち、正しい陽性はいくつあるか。
• 実際の陽性反応のうち、何人が発見されたかを思い出してください。
• 特異度、真陰性率
• F1スコア、適合率と再現率の調和平均

クラスの不均衡がある場合、マトリックスは不可欠となる。あるクラスが圧倒的に多い場合、精度は高く見えるが、少数派のクラスは無視されてしまう。マトリックスは、モデルが実際に学習しているのか、それとも単に多数派のラベルを予測しているだけなのかを明らかにする。