Kafka 이벤트 모니터링이란.. (먼산)

이 글은 Kafka 이벤트 모니터링을 주제로, 주니어 개발자가 겪었던 트러블슈팅 경험을 공유합니다. 결제가 실패한 이벤트를 스트리밍하여 10분 동안 3번 이상 주문에 실패한 구매자를 찾는 미션을 수행하며 겪은 어려움과 해결 과정을 담고 있습니다.

저자는 Kafka 운영 경험이 부족한 상황에서 요구사항을 분석하고 KSQL, Kafka Connect, Elasticsearch, Grafana 등의 기술 스택을 선택하여 문제를 해결했습니다. 특히 KSQL을 통해 낮은 러닝 커브로 스트림즈 방식을 도입하고, Kafka Connect로 데이터를 DB에 저장하며, Elasticsearch와 Grafana로 시계열 데이터를 시각화하는 과정을 설명합니다.

이 글은 Kafka를 활용한 이벤트 모니터링 및 데이터 처리 파이프라인 구축에 대한 실질적인 경험과 인사이트를 제공합니다.