Dokładność ukrywa porażkę. Detektor oszustw, który nic nie sygnalizuje, jest prawie zawsze poprawny, a jednak bezużyteczny. Precyzja i odtworzenie ujawniają kompromis. Precyzja pyta, ile przewidywanych wyników pozytywnych jest faktycznie pozytywnych. Odtworzenie pyta, ile faktycznie znaleziono wyników pozytywnych.
Te dwa czynniki działają na siebie nawzajem. Podniesienie progu wychwytuje mniej wyników fałszywie dodatnich, ale pomija więcej wyników prawdziwie dodatnich, poprawiając precyzję i pogarszając przywoływalność. Obniżenie powoduje odwrotny efekt. Właściwa równowaga zależy od tego, który błąd jest bardziej kosztowny.
Wybór między nimi
- Wysoka precyzja, gdy fałszywe pozytywy są kosztowne
- Wysoka zdolność przypominania, gdy pomijanie pozytywów jest niebezpieczne
- Wynik F1, gdy oba są równie ważne
- Krzywa precyzji-odwołania do wyboru progu
Badania przesiewowe w kierunku raka sprzyjają przypominaniu. Filtrowanie spamu sprzyja precyzji. Żadna z tych metryk nie przedstawia pełnego obrazu sytuacji, dlatego obie pojawiają się razem w poważnych raportach ewaluacyjnych.
Comments
No comments yet. Be the first to share a thought.
Leave a comment