상품데이터 Pipeline을 위한 Debezium MSK Connect

본 글은 상품 스쿼드에서 상품 메타정보 관리를 위한 Catalog Service 개발 중, MSA 전환 과정에서 발생한 데이터베이스 마이그레이션 및 동기화 문제를 해결하기 위해 Debezium CDC를 도입한 경험을 공유합니다. Debezium은 다양한 데이터베이스(Oracle, MySQL, MongoDB, Cassandra 등) 간의 유연한 동기화, 데이터 간 유기적 흐름의 파이프라인 구성, 상품 데이터 변경 내역 추적이라는 세 가지 목표 달성에 기여했습니다.

Debezium은 DB 트랜잭션 로그를 활용하여 데이터 변경 사항을 실시간으로 캡처하고 스트리밍하는 오픈소스로, 특히 AWS MSK Connect와 함께 Oracle 및 Aurora DB 환경에서 효과적으로 구성되었습니다. 이를 통해 상품 데이터 파이프라인 구축의 효율성을 높였습니다.