롯데ON 사례로 본 개인화 추천 시스템 구축하기, 1부 : Dynamic A/B Testing 아키텍처 구축

롯데ON은 고객 여정 전반에 걸쳐 개인화 추천 서비스를 제공하며 비즈니스 지표 개선과 고객 만족도 향상을 목표로 합니다. 신규 모델 성능 측정을 위해 온라인 A/B 테스트는 필수적이지만, 일반적인 방식은 성능이 낮은 모델이 서비스되어 비즈니스 손실을 야기할 수 있습니다.

이를 개선하기 위해 롯데ON은 실시간으로 모델 성능을 평가하고 효율 좋은 모델을 더 많이 선택하는 Dynamic A/B 테스트를 도입했습니다. MAB(Multi-Armed Bandit) 알고리즘을 채택하여 각 모델의 CTR 지표 기반으로 최적의 모델을 서비스하며, AWS 서비스를 활용하여 공정한 A/B 테스트 환경을 구축하고 테스트 시간 및 리소스 단축을 통해 데이터 과학자들이 모델 개발에 집중할 수 있도록 하였습니다.

본 글은 롯데ON의 Dynamic A/B 테스트 구현 사례를 소개합니다.