분산디비지만 노출은 하고싶어 - mongo로 노출 전용 DB 만들기

이 글은 네이버 쇼핑 검색 서비스 BE 개발팀의 이태원님이 NAVER ENGINEERING DAY에서 발표한 내용을 기반으로 합니다. 쇼핑 메인 DB인 Citus를 활용한 PostgreSQL 데이터를 노출에 최적화된 형태로 가공하여 새로운 DB를 만드는 '노출 DB' 구축 경험을 공유합니다.

PostgreSQL의 CDC 데이터를 Kafka를 통해 재가공하고 MongoDB에 적재하는 과정을 상세히 다룹니다. 특히, 노출 DB의 탄생 배경, 전체 구조, 그리고 변경량, 정규화, 신규/기존 상품 정합성 확보 등 구축 과정에서 겪었던 난관과 해결 과정을 중심으로 설명합니다.

또한, 목표 시스템 성능 및 현황, API, 전체 데이터 재생성 등에 대한 내용도 포함하여 분산 DB 환경에서 효율적인 데이터 노출 방안을 모색합니다.