CDC & CDC Sink Platform 개발 2편 - CDC Sink Platform 개발 및 CQRS 패턴의 적용

본 글은 Kafka로 전송된 CDC Platform의 Event를 DataSource로 적재하는 CDC Sink Platform 개발 사례와 CQRS 패턴 적용에 대해 소개합니다. CDC Sink Platform은 Kafka Connect를 기반으로 Kafka로부터 변경된 데이터를 읽어 DataSource로 적재하는 역할을 수행하며, Kafka Connect API, Failure Tolerance, Scalable, No Code, At-least-once Delivery 등의 특징을 가집니다.

CDC Sink Platform은 Kafka로부터 변경 이벤트를 읽어 원본 형태로 변형하는 Converter 단계, 데이터를 가공하는 Transform 단계, 가공한 데이터를 DataSource에 적재하는 단계로 구성됩니다. 이를 통해 데이터 변경 이력을 효율적으로 관리하고, CQRS 패턴을 적용하여 시스템의 확장성과 성능을 개선하는 방안을 제시합니다.