Open Problems in Data&Analytics

네이버 Data&Analytics 팀은 플랫폼 및 분석 방법론 개선을 위해 다양한 노력을 기울이고 있으며, 본 글에서는 팀이 주력하고 있는 몇 가지 문제와 접근 방식을 소개합니다. 특히 'Traffic-efficient A/B Evaluation'에 초점을 맞춰, AB 테스트 시 사용자의 트래픽을 효율적으로 사용하고 서비스 임팩트를 최소화하는 방안을 다룹니다.

이를 위해 지표의 Variance를 최소화하는 기법으로 Winsorization과 CUPED를 소개하며, Winsorization은 지표의 극단값을 처리하거나 비율 지표로 변환하는 방식을, CUPED는 실험 수행 이전의 트래픽을 활용하여 사용자 간 차이를 제거함으로써 Variance를 줄이는 기법임을 설명합니다. 이 글은 온라인 서비스 개선에 힘쓰는 현업 종사자들에게 실질적인 도움을 줄 수 있을 것으로 기대됩니다.