CDC & CDC Sink Platform 개발 3편 - CDC Event Application Consuming 및 Event Stream Join의 구현

본 글은 CDC Platform에서 발행한 CDC Event를 Application에서 직접 Consuming하여 처리한 대용량 데이터 마이그레이션 사례를 소개합니다. CDC Platform은 데이터베이스 스냅샷부터 변경 사항 스트리밍까지 Producer 측면의 복잡성을 해결해주어, 개발자는 Consumer 측면의 구현에만 집중할 수 있게 합니다.

특히, RDB에서 RDB로의 무중단 무손실 회원 정보 마이그레이션 사례를 다루며, 서로 다른 테이블에서 발생하는 이벤트 스트림을 하나의 이벤트 스트림으로 통합해야 하는 '이벤트 스트림 Join' 문제를 해결하는 두 가지 방법을 제시합니다. 첫째는 Kafka Stream API를 활용한 Application Side Stream Join, 둘째는 Upsert Query를 이용한 Database Side Stream Join입니다.

각 방법의 장단점을 비교하며, 본 작업에서는 특정 요구사항에 맞춰 최적의 방법을 선택하고 구현하는 과정을 설명합니다.