진짜 A/B 테스트: 토스의 푸시 생태계를 데이터로 재설계한 방법

토스 데이터 분석가가 푸시 알림의 클릭률(CTR) 하락 문제를 해결하기 위해 데이터 기반으로 푸시 생태계를 재설계한 과정을 공유하는 글입니다. 슈퍼앱으로 확장하며 서비스가 100개를 넘어선 토스에서는 푸시 발송량이 증가하고 사용자의 반응 역치가 높아져 전사 푸시 CTR이 점진적으로 하락하는 문제가 발생했습니다.

이에 데이터 분석가는 문제 정의부터 가설 수립, 탐색적 데이터 분석(EDA), 실험 설계 및 운영, 그리고 최종 확장(Rollout)까지 전 과정을 주도했습니다. 특히, 단순한 운영 개선을 넘어 '지속적 무반응'을 신호로 삼아 푸시 발송 대상을 재정의하는 'De-Targeting' 개념을 도입하여 실용적이고 전사적으로 적용 가능한 새로운 규칙을 만들고자 했습니다.

이 글은 데이터 분석가로서의 역할과 데이터 중심 의사결정 과정에 관심 있는 사람들에게 실질적인 인사이트를 제공합니다.