CDC & CDC Sink Platform 개발 1편 - CDC Platform 개발

본 글은 Application과 DataSource를 분리하는 Micro Service Architecture에서 Event Driven Architecture로 나아가기 위한 CDC Platform 개발 경험을 공유합니다. Event Driven Architecture는 느슨한 결합과 높은 확장성을 제공하지만, 신뢰할 수 있는 이벤트 흐름 구축이 선행되어야 합니다.

이를 위해 변경된 데이터를 캡쳐하여 Kafka로 전송하는 CDC Platform을 Kafka Connect 기반으로 개발했습니다. CDC Platform은 Kafka Connect API, Failure Tolerance, Scalable, No Code, At-least-once Delivery 등의 특징을 가지며, 최종 일관성 이론을 기반으로 합니다.

글에서는 CDC 개념과 함께 Application Layer Event 대신 Persistence Layer Event를 선택한 이유를 설명하며, CDC Platform 개발의 필요성을 강조합니다.