İstatistiksel anlamlılık, bir araştırma sonucunun yalnızca şans eseri ortaya çıkma olasılığının düşük olduğu sonucudur. Genellikle p-değeri olarak ifade edilir: sıfır hipotezinin doğru olduğu varsayılarak, gözlemlenen sonuçtan en azından daha uç bir sonuç elde etme olasılığı.

Genel kabul gören kurala göre, 0,05'ten küçük bir p değeri genellikle istatistiksel olarak anlamlı kabul edilir, ancak eşik keyfidir ve bağlam içinde yorumlanmalıdır. Anlamlılık hem etkinin büyüklüğüne hem de örneklem büyüklüğüne bağlıdır. Çok küçük bir etki çok büyük bir örneklemde anlamlılık düzeyine ulaşabilir; önemli bir etki ise küçük bir örneklemde anlamlılık düzeyine ulaşamayabilir. Anlamlılık, pratik veya teorik önemle aynı şey değildir.

Araştırmacılar, p-değerlerinin yanı sıra etki büyüklüklerini ve güven aralıklarını da bildirmeye ve 0,05 eşiğini gerçek ile gürültü arasında kesin bir çizgi olarak ele almaktan kaçınmaya giderek daha fazla teşvik ediliyor. Tekrarlanabilirlik, bir bulgunun güvenilir olup olmadığının nihai testi olmaya devam ediyor.

Bir sonucun tamamen şans eseri olma olasılığı düşük olduğunda, buna istatistiksel olarak anlamlı sonuç denir.