롯데ON의 추천 Dynamic A/B Testing 구축 및 운영기

롯데ON은 추천 시스템 개선을 위해 Dynamic A/B Testing 환경을 구축했습니다. 기존 A/B 테스트는 특정 기간 동안 고정 비율로 모델을 노출하여 효율이 낮은 모델로 인한 비즈니스 손실이 발생하고, 유관 부서의 도움과 대기 시간이 필요했습니다.

이를 해결하기 위해 실시간으로 모델 성능을 평가하여 클릭 효율이 좋은 모델을 더 많이 노출하는 Dynamic A/B 테스트 환경을 Multi-Armed Bandit (MAB) 알고리즘을 적용하여 구축했습니다. MAB는 각 모델의 Click Through Rate (CTR) 지표를 기반으로 효율 좋은 모델을 동적으로 서비스하며, 고정 비율 A/B 테스트 환경도 함께 구축하여 리소스와 시간을 단축했습니다.