엔라이즈의 실험 방법론을 소개합니다

이 글은 엔라이즈(위피/콰트) 제품팀의 실험 방법론을 소개합니다. 실험의 목표는 개선하고자 하는 KPI와 가설을 명확히 수립하는 것입니다.

이를 위해 ad-hoc 분석을 통해 현행 지표를 파악하고, 지표 개선에 대한 가설을 수립합니다. 모든 실험에 사전 분석을 적용하기는 어렵기 때문에, 신속한 개선을 위해 '실험을 빠르게 진행하여 결과 확인 후 추가 실험'하는 사이클을 활용하며, N차 실험을 통해 지표를 개선합니다.

이후 실험에 필요한 유저 군집을 샘플링하고 실험군과 대조군으로 분할하여 실험을 진행합니다. 실험 진행 시에는 클라이언트 업데이트나 서버 로직 변경을 통해 이루어지며, 데이터 정합성 체크를 통해 기능이 제대로 반영되었는지, 원하는 조건에 맞게 실험이 세팅되었는지를 검증하는 것이 중요합니다.