카프카 생태계 기반의 비즈니스 메트릭 생성하기

이 글은 아자르 팀이 Kafka Connect와 ksqlDB를 활용하여 Grafana 기반의 실시간 비즈니스 메트릭 모니터링 대시보드를 구축한 경험을 공유합니다. 유저들의 매치 필터 사용량과 같은 중요한 비즈니스 데이터를 실시간으로 추적하기 위해, 아자르에서는 Kafka를 통해 발행되는 애플리케이션 계층 이벤트를 활용합니다.

특히, `MatchRequestEvent`와 같은 이벤트를 Kafka로 발행하고 Schema Registry를 통해 스키마를 관리합니다. 이후 Kafka Connect를 사용하여 이벤트를 스트리밍하고, ksqlDB를 통해 실시간으로 데이터를 가공하여 Grafana에서 시각화하는 과정을 설명합니다.

이를 통해 백엔드 서비스 운영 중 발생할 수 있는 문제들을 실시간으로 감지하고 대응하는 데 기여합니다.