Amazon MSK를 활용한 데이터베이스 간 CDC 구현하기

본 글은 온프레미스와 클라우드 환경에서 데이터베이스를 동시에 운영해야 하는 과도기적 상황에서, 이기종 데이터베이스 간 데이터 동기화를 위한 안정적이고 확장 가능한 아키텍처 구축 방안을 제시합니다. 특히 AWS의 완전 관리형 서비스인 Amazon MSK와 MSK Connect, Apache Debezium, Confluent Connectors를 활용하여 데이터 변경 분산(CDC)을 구현하는 과정을 상세히 다룹니다.

MySQL에서 Oracle로의 데이터 동기화를 예시로, Debezium for MySQL을 Capture로, Confluent JDBC를 Sink로 사용하는 솔루션 아키텍처를 소개하며, 안정적인 운영을 위한 모니터링 및 MSK Connect 재생성 시 오프셋 재개 방안까지 논의합니다. 이를 통해 MSA 전환 과정에서 발생할 수 있는 데이터 동기화 문제를 효과적으로 해결하고 서비스 중단을 예방하는 방법을 배울 수 있습니다.