Journey with Apache Flink & Flink CDC

이 글은 카카오 데이터 분석 플랫폼 팀에서 MySQL 데이터베이스 간의 실시간 데이터 동기화를 위해 Apache Flink와 Flink CDC를 활용한 경험을 공유합니다. 서비스 운영 데이터베이스에 영향을 주지 않으면서 지표 수집을 위해 별도의 데이터베이스에서 데이터를 가져와야 하는 상황에서, 변경 데이터 캡처(CDC) 기술이 필수적입니다.

글에서는 Apache Flink의 개요, CDC 및 Flink CDC 소개, flink-connector-mysql-cdc 사용법, 그리고 커스터마이징 방법에 대해 다룹니다. 이를 통해 MySQL 데이터베이스 간의 효율적인 CDC 구축 및 운영 방안을 제시합니다.