Debezium MSK Connect로 Failover 구현하여 서비스 안정성 높이기

이 글은 Debezium MSK Connect를 운영하며 겪었던 서비스 안정성 문제와 Connector 중단 시 해결 방법에 대한 경험을 공유합니다. Debezium MSK Connect는 Change Data Capture(CDC)를 위한 도구로, 데이터베이스 변경 사항을 실시간으로 스트리밍하는 데 사용됩니다.

글에서는 MSK 시스템의 안정성을 확보하기 위한 모니터링 및 알람 시스템 구성의 중요성을 강조합니다. 특히, Connector 이상 발생 시 신속하게 감지하고 대응하기 위해 Topic Heartbeat 기능을 활용하여 Slack 알림 및 온콜 시스템을 연동한 경험을 상세히 설명합니다.

prefix` 옵션을 사용하여 Heartbeat 메시지를 주기적으로 확인하고, 이전 Heartbeat와의 시간 차이가 발생하면 알림을 받도록 설정함으로써 시스템 안정성을 높이는 방법을 제시합니다. beat와의 시간 차이가 발생하면 알림을 받도록 설정함으로써 시스템 안정성을 높이는 방법을 제시합니다.