A statisztikai szignifikancia azt a következtetést jelenti, hogy egy kutatási eredmény valószínűleg nem pusztán a véletlen műve volt. Általában p-értékkel fejezik ki: annak valószínűségével, hogy legalább olyan szélsőséges eredményt kapunk, mint a megfigyelt eredmény, feltételezve, hogy a nullhipotézis igaz.

Megállapodás szerint a 0,05-nél kisebb p-értéket gyakran statisztikailag szignifikánsnak tekintik, bár a küszöbérték önkényes, és a kontextusnak megfelelően kell értelmezni. A szignifikancia mind a hatás nagyságától, mind a minta méretétől függ. Egy apró hatás is elérheti a szignifikáns szintet egy nagyon nagy mintában; egy jelentős hatás egy kicsiben esetleg nem. A szignifikancia nem egyenlő a gyakorlati vagy elméleti fontossággal.

A kutatókat egyre inkább arra ösztönzik, hogy a p-értékek mellett a hatásméreteket és a konfidenciaintervallumokat is közöljék, és kerüljék a 0,05-ös küszöbértéknek az igazság és a zaj közötti éles határvonalként való kezelését. A replikáció továbbra is a végső teszt arra vonatkozóan, hogy egy eredmény megbízható-e.

Ha egy eredmény a tiszta véletlen feltételezése mellett valószínűtlen, akkor statisztikailag szignifikánsnak nevezzük.