리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기

리멤버앤컴퍼니는 500만 명 이상이 사용하는 국내 대표 비즈니스 플랫폼으로, 기존에는 Amazon S3에 Parquet 파일로 데이터를 적재하고 Presto를 사용해 분석하는 아키텍처를 사용했습니다. 하지만 매일 운영 DB에서 S3로 전체 데이터를 적재(Full Refresh)하는 방식은 데이터 볼륨이 커질수록 Aurora MySQL과 S3에 높은 부하를 발생시키고 비효율적이었습니다.

이러한 문제를 해결하기 위해 리멤버앤컴퍼니는 Amazon S3 Tables를 활용하여 CDC(Change Data Capture) 데이터를 기반으로 하는 실시간 분석 워크로드를 구축하는 방안을 모색했습니다. 이 글은 이러한 도입 배경과 기존 방식의 문제점을 설명하며, S3 Tables를 통해 데이터 처리 효율성을 높이고 실시간 분석 환경을 구축하는 과정의 첫 단계를 다룹니다.