MRT Public Data Service 개발 — 1

본 포스팅은 마이리얼트립에서 CDC(Change Data Capture)를 활용하여 실시간 데이터 분석 시스템을 구축한 경험을 공유합니다. CDC는 데이터베이스의 변경된 데이터만 추출하여 전송하는 기술로, 다양한 소스 DB의 데이터를 분석 시스템으로 쉽게 전송할 수 있게 합니다.

마이리얼트립에서는 Kafka Connect를 기반으로 Debezium과 Confluent 커넥터를 사용하여 CDC 플랫폼을 구축했습니다. Kafka Connect는 코딩 없이 DB와 Kafka 간 데이터 전송을 가능하게 하는 플랫폼으로, worker, connector, task 등의 요소로 구성됩니다.

이를 통해 배치 데이터 웨어하우스 구축에 이어 실시간 데이터 분석 시스템을 성공적으로 구축했습니다.