상품데이터 Pipeline을 위한 Debezium MSK Connect

상품스쿼드에서 상품 메타정보 관리를 위한 Catalog Service 개발 중 MSA 전환 과정에서 발생한 데이터베이스 마이그레이션 및 동기화 문제를 해결하기 위해 Debezium CDC를 도입한 경험을 공유합니다. Debezium은 Oracle, MySQL, MongoDB 등 다양한 데이터베이스를 지원하며, DB 트랜잭션 로그를 이용해 데이터 변경 사항을 실시간으로 캡처하여 스트리밍하는 오픈소스입니다.

특히 AWS MSK Connect와 함께 사용하여 Oracle 및 Aurora DB의 데이터 변경 내역을 효율적으로 추적하고, 다양한 데이터베이스 간 유연한 동기화 및 데이터 흐름 파이프라인을 구축하는 데 활용했습니다. 이를 통해 상품 데이터 변경 내역 추적 프로세스를 효율화하고 MSA 환경에서의 데이터 관리를 개선했습니다.