사장님용 통계 데이터 서빙하기

배민상품시스템팀에서 진행한 '우리가게NOW' 프로젝트는 사장님들을 위한 통계 서비스를 제공하는 것을 목표로 합니다. 이 프로젝트는 주문 접수율, 주문 접수 시간, 조리 시간 준수율 등의 통계 데이터를 생성하고, 이를 바탕으로 각 가게의 상대 평가를 제공하는 기능을 구현했습니다.

특히, 매일 아침 9시에 통계 및 상대 평가 데이터를 최신본으로 업데이트해야 하는 요구사항이 있었습니다. 기존 업무와 달리 실시간 데이터가 아닌 과거 데이터를 처리해야 했고, 처리해야 할 데이터의 규모가 매우 컸다는 점에서 어려움이 있었습니다.

이러한 문제를 해결하기 위해 Airflow 스케줄러를 사용하여 주기적으로 외부 데이터를 가져오고, 데이터 레이크에서 SparkSQL 쿼리를 통해 데이터를 추출한 후, 최종적으로 팀 내 RDB에 저장하는 구조를 설계하고 구현했습니다. 이 과정에서 생소한 통계 데이터 처리와 대규모 데이터 처리 경험을 쌓을 수 있었습니다.