Karrot’s Journey to CDC with MongoDB

Karrot의 데이터 팀은 다양한 프로덕션 데이터베이스의 데이터를 안정적으로 데이터 웨어하우스(BigQuery)로 로드하는 역할을 담당합니다. 이를 통해 조직 전체에서 데이터에 쉽고 빠르게 접근할 수 있도록 지원합니다.

단일 BigQuery DW에 모든 데이터를 통합하는 것은 분석 워크로드 격리, BigQuery의 강력한 분산 처리 능력 활용, 서비스 간 데이터 통합을 통한 교차 분석 가능성 등의 이점을 제공합니다. 본 글에서는 특히 MongoDB에서 직면했던 문제점과 이를 해결하기 위해 MongoDB CDC(Change Data Capture)를 구축한 과정을 공유합니다.

Karrot은 서비스 특성에 맞춰 MySQL, PostgreSQL, DynamoDB, MongoDB 등 다양한 DBMS를 사용하며, 이 모든 DB의 데이터를 BigQuery로 로드하여 분석 기반을 구축하고 있습니다.