Apache Iceberg와 Flink CDC 심층 탐구

본 글은 Apache Iceberg와 Flink CDC를 활용하여 MySQL 데이터를 Apache Iceberg 테이블로 실시간 연동하는 과정과 운영 경험을 공유합니다. 서비스 팀의 데이터베이스 부하를 줄이기 위해 실시간 데이터 연동이 필요하며, 기존 MySQL 연동 방식의 성능 제약을 해결하고자 데이터 레이크하우스 기술인 Apache Iceberg를 도입했습니다.

글에서는 Iceberg 소개, Flink에서 Iceberg로 데이터 적재 준비 과정, 데이터스트림 API를 사용한 적재 과정, 생성 파일 정보 및 활용법, 그리고 샤딩 테이블을 단일 Iceberg 테이블로 운영하는 가능성 탐색 결과를 다룹니다. CDC 및 Flink 기본 개념에 대한 이해가 있는 독자를 대상으로 합니다.