아파치 플링크와 CDC의 만남. 플링크 CDC 맛보기

본 글은 서비스 팀의 데이터를 실시간으로 연동하기 위해 아파치 플링크와 플링크 CDC 라이브러리를 활용한 경험을 공유합니다. 기존 방식으로는 서비스 운영에 부담을 줄 수 있어, 별도의 데이터베이스에서 실시간 연동이 필요했습니다.

CDC(Change Data Capture)는 이러한 실시간 연동을 가능하게 하는 기술이며, 특히 아파치 플링크는 스트리밍 데이터 처리에 특화된 오픈소스 분산 처리 프레임워크입니다. 글에서는 플링크 CDC 라이브러리의 동작 과정과 조직의 상황에 맞게 라이브러리를 수정 및 개선한 내용을 다룹니다.

이를 통해 데이터 수집 및 지표 추출 과정의 효율성을 높이고 서비스 운영 부담을 줄이는 방안을 제시합니다.