뮤직카우의 Amazon RDS와 Amazon Redshift 간 CDC 파이프라인 Zero-ETL로 쉽게 구축하기

뮤직카우는 미국 서비스 출시를 앞두고 실시간 데이터 분석을 위한 데이터 플랫폼 구축의 필요성을 느꼈습니다. 기존 한국 서비스는 하이브리드 클라우드 환경에서 배치 기반 ETL을 사용했지만, 미국 서비스는 100% 클라우드 환경에서 준 실시간 데이터 반영(CDC) 요구사항이 있었습니다.

제한된 인력으로 효율적인 CDC 파이프라인 구축이 필요했으며, 이를 위해 Amazon RDS와 Amazon Redshift 간의 Zero-ETL 기능을 활용하는 방안을 모색했습니다. Zero-ETL은 기존 ETL 과정 없이 데이터를 자동으로 복제하여 데이터 웨어하우스에 반영하므로, 개발 및 운영 부담을 크게 줄여줍니다.

이 글은 뮤직카우가 Zero-ETL을 통해 어떻게 간편하고 효율적으로 CDC 파이프라인을 구축했는지 설명합니다.