A/B 테스트에서 p value와 귀무가설

A/B 테스트에서 p-value는 귀무가설(null hypothesis)을 기각할지 여부를 결정하는 데 사용된다. 귀무가설은 일반적으로 "두 그룹 간에 차이가 없다"는 가정을 의미한다. 예를 들어, 웹사이트의 두 가지 버전(A와 B)을 테스트할 때, 귀무가설은 "버전 A와 버전 B의 전환율에 차이가 없다"는 것이다.

예제

1. 귀무가설 (H0): 버전 A와 버전 B의 전환율에 차이가 없다.
2. 대립가설 (H1): 버전 A와 버전 B의 전환율에 차이가 있다.

p-value 해석

• p-value < 0.05: 귀무가설을 기각한다. 즉, 두 버전 간에 통계적으로 유의미한 차이가 있다고 결론짓는다.
• p-value >= 0.05: 귀무가설을 기각하지 않는다. 즉, 두 버전 간에 통계적으로 유의미한 차이가 없다고 결론짓는다.

Python 코드 예제

import numpy as np
from scipy import stats

# 예제 데이터: 두 그룹의 전환율
group_A = [1, 0, 1, 1, 0, 1, 0, 1, 0, 1]
group_B = [0, 1, 0, 0, 1, 0, 1, 0, 1, 0]

# t-검정 수행
t_stat, p_value = stats.ttest_ind(group_A, group_B)

print(f"t-statistic: {t_stat}")
print(f"p-value: {p_value}")

# 결과 해석
if p_value < 0.05:
    print("귀무가설을 기각합니다. 두 그룹 간에 유의미한 차이가 있습니다.")
else:
    print("귀무가설을 기각하지 않습니다. 두 그룹 간에 유의미한 차이가 없습니다.")

이 예제에서는 scipy 라이브러리를 사용하여 두 그룹의 전환율에 대한 t-검정을 수행하고, p-value를 계산하여 귀무가설을 기각할지 여부를 결정한다.

 

p-value 값이 0.05 이상이면 귀무가설을 기각하지 않으며, 이는 두 그룹 간에 통계적으로 유의미한 차이가 없다는 것을 의미힌디.

반면, p-value 값이 0.05 미만이면 귀무가설을 기각하며, 이는 두 그룹 간에 통계적으로 유의미한 차이가 있다는 것을 의미힌디.

정리하자면:

• p-value < 0.05: 귀무가설을 기각 (대립가설 채택)
• p-value >= 0.05: 귀무가설을 기각하지 않음 (귀무가설 유지)

- 끝 -