대규모 CDC Pipeline 운영을 위한 Debezium 개선 여정

토스증권 Realtime Data Team은 대규모 CDC(Change Data Capture) 파이프라인 운영의 어려움을 겪으며 개선의 필요성을 느꼈습니다. 기존에는 배치 처리와 달리 스트리밍 처리의 특성상 파이프라인의 상태를 정확히 파악하기 어려워 문제 발생 시 즉각적인 대응이 힘들었습니다.

이에 팀은 CDC 파이프라인의 운영 가시성을 높이기 위해 다양한 지표를 설정하고 개선하는 여정을 시작했습니다. Debezium 오픈소스를 활용하여 원천 데이터베이스의 변경 사항을 실시간으로 감지하고 이벤트 스트림으로 전송하는 과정에서 발생하는 문제들을 해결하고, 더 안정적이고 신뢰할 수 있는 CDC 시스템 구축을 목표로 Connector 개선, Debezium 소스 코드 수정, 운영 방식 변경 등 다각적인 노력을 기울였습니다.

이 글은 이러한 개선 여정의 일부를 공유하며, 효과적인 CDC 파이프라인 운영을 위한 구체적인 방법론과 성과를 소개합니다.