매번 다 퍼올 필요 없잖아? 당근의 MongoDB CDC 구축기

당근마켓 데이터 가치화 팀은 서비스 안정성을 확보하고 전사 구성원의 데이터 활용을 지원하기 위해 운영 DB 데이터를 BigQuery로 적재하는 시스템을 구축했습니다. 기존 MongoDB Spark Connector를 활용한 덤프 방식은 데이터 규모 증가와 함께 SLO(2시간 내 데이터 전달) 달성과 DB 부하 감소라는 두 가지 요구사항을 동시에 만족시키기 어려워졌습니다.

이에 대한 해결책으로 MongoDB CDC(Change Data Capture)를 도입했습니다. CDC는 데이터베이스의 변경 사항을 실시간으로 감지하여 별도의 시스템으로 전달하는 기술로, 이를 통해 운영 DB에 대한 부하를 줄이면서도 신속하고 안정적으로 데이터를 BigQuery로 전송하는 것을 목표로 합니다.

본 글에서는 MongoDB CDC 구축 과정에서 마주한 문제점과 해결 과정을 공유합니다.