Istotność statystyczna to wniosek, że wynik badań prawdopodobnie nie powstał wyłącznie przypadkowo. Zazwyczaj wyraża się ją jako wartość p: prawdopodobieństwo uzyskania wyniku co najmniej tak skrajnego, jak obserwowany, przy założeniu, że hipoteza zerowa jest prawdziwa.

Zgodnie z konwencją, wartość p poniżej 0,05 jest często traktowana jako istotna statystycznie, chociaż próg jest arbitralny i należy go interpretować w kontekście. Istotność zależy zarówno od wielkości efektu, jak i wielkości próby. Niewielki efekt może osiągnąć istotność w bardzo dużej próbie; istotny efekt może nie osiągnąć istotności w małej próbie. Istotność nie jest równoznaczna z istotnością praktyczną ani teoretyczną.

Badacze są coraz częściej zachęcani do podawania wielkości efektu i przedziałów ufności obok wartości p, a także do unikania traktowania progu 0,05 jako wyraźnej granicy między prawdą a szumem. Replikacja pozostaje ostatecznym testem wiarygodności wyników.

Jeżeli wynik jest mało prawdopodobny przy założeniu czystego przypadku, nazywa się go statystycznie istotnym.