통계적 유의성은 연구 결과가 단순히 우연히 발생했을 가능성이 낮다는 결론을 의미합니다. 이는 일반적으로 p값으로 표현되는데, p값은 귀무가설이 참일 때 관찰된 결과와 최소한 동일한 수준의 극단적인 결과가 나올 확률을 나타냅니다.

관례적으로 p값이 0.05 미만이면 통계적으로 유의미한 것으로 간주되지만, 이 기준치는 임의적이며 맥락에 따라 해석해야 합니다. 유의성은 효과의 크기와 표본 크기 모두에 따라 달라집니다. 아주 작은 효과라도 매우 큰 표본에서는 유의미할 수 있고, 상당한 효과라도 작은 표본에서는 유의미하지 않을 수 있습니다. 유의미성이 곧 실질적 또는 이론적 중요성을 의미하는 것은 아닙니다.

연구자들은 p값과 함께 효과 크기와 신뢰구간을 보고하도록 점점 더 권장되고 있으며, 0.05라는 유의수준을 진실과 오류를 구분하는 명확한 기준으로 삼지 않도록 권고받고 있습니다. 재현성은 연구 결과의 신뢰성을 판단하는 궁극적인 기준입니다.

어떤 결과가 순전히 우연에 의한 것이라고 가정했을 때 발생할 가능성이 낮을 경우, 이를 통계적으로 유의미하다고 합니다.