통계적 유의성

정의

관찰된 차이가 우연이 아니라 실제로 의미 있는 차이인지 판단하는 기준.

자세한 설명

두 그룹의 결과가 다르게 나왔을 때, 그 차이가 단순한 우연으로도 생길 수 있는 수준인지 아니면 진짜 의미 있는 차이인지를 가늠하는 개념입니다. 표본이 작으면 우연히 차이가 생긴 것처럼 보일 수 있어, 통계적 유의성을 확인하지 않고 결론을 내리면 잘못된 판단으로 이어지기 쉽습니다. A/B 테스트 결과를 볼 때도 어느 한쪽이 조금 더 높게 나왔다고 바로 승자로 정하지 않고 이 기준을 함께 확인합니다. 유의성이 낮다면 표본을 더 모으거나 실험을 더 오래 지켜볼 필요가 있습니다.

예를 들면

새 상세페이지의 전환율이 조금 더 높게 나왔지만, 통계적으로 의미 있는 차이인지 확인하기 전까지는 바꾸지 않았습니다.

관련 용어