A/B Testing - Sampling부터 Interpretation까지

이 글은 모바일 미디어 플랫폼 버즈빌에서 A/B 테스팅을 수행하며 겪는 경험과 궁금증을 공유합니다. 특히 A/B 테스팅의 핵심 과정인 샘플링과 해석(Interpretation)에 초점을 맞춥니다.

샘플링 단계에서는 통계적 기법인 t-test를 활용하며, 학계 기준(알파 에러율 5%, 테스팅 파워 95%)을 충족하기 위한 샘플 사이즈는 약 120개임을 설명합니다. 모바일 환경에서는 이보다 많은 샘플이 확보되는 경우가 많아 샘플 사이즈 자체보다는 샘플이 랜덤하게 그룹지어져 있는지 여부가 더 중요하다고 강조합니다.

랜덤 샘플링은 테스트하려는 변수(stimulus)가 그룹 간에 공정하게 비교될 수 있도록 보장하기 위함이며, CTR 개선을 위한 색상 변경 테스트 예시를 통해 이를 설명합니다. 궁극적으로 A/B 테스팅을 통해 프로덕트를 효과적으로 개선하는 방법을 다룹니다.