PostgreSQL to ES: (2) Kafka Connect 트러블슈팅

본 글은 클린플랫폼의 컨텐츠 모니터링 시스템 개발팀에서 Kafka Connect 기반 CDC 파이프라인 구축 중 발생한 Debezium 관련 트러블슈팅 경험을 공유합니다. 특히 PostgreSQL의 WAL 파일이 누적되어 디스크 공간 부족 문제를 야기하는 상황에 주목합니다.

Debezium은 테이블 변경 사항이 없을 때 WAL 처리 LSN을 갱신하지 않아 PostgreSQL의 Slot이 오래된 WAL 파일을 삭제하지 못하는 것이 원인입니다. 이 문제를 해결하기 위해 Debezium의 heartbeat 기능을 설정하여 주기적으로 LSN을 갱신하도록 함으로써 WAL 파일이 정상적으로 관리되고 디스크 공간 부족 문제를 해결했습니다.

이를 통해 안정적인 데이터 동기화 파이프라인 운영의 중요성을 강조합니다.