토스증권의 수 천개 실시간 데이터 파이프라인 운영방법 #2: MSA 환경 Observability 높이기

토스증권 Realtime Data Team은 수천 개의 실시간 데이터 파이프라인 운영 경험을 공유하는 두 번째 글에서 MSA 환경에서의 Observability를 높이는 방법에 대해 설명합니다. 특히 Kafka Producer/Consumer Client와 Kafka Broker 간의 연결 관계 파악에 집중하며, 10,000개의 서비스 Pod와 1,000개의 Topic을 사용하는 환경에서 어떤 서비스가 어떤 Topic으로 데이터를 주고받는지 전체 시스템 지도를 만드는 것의 중요성을 강조합니다.

소스코드 수정 없이 이러한 연결 현황을 파악하기 위한 요구 조건을 제시하고, Kafka Broker에서 netstat 같은 커널 명령어로 연결 정보를 수집하는 것만으로는 Producer/Consumer 여부나 연결되는 Topic 정보까지 파악하기 어렵다는 한계를 지적하며, 애플리케이션 레이어 정보의 필요성을 언급합니다. 이는 데이터 파이프라인의 가시성을 높이고 장애 민감도가 높은 서비스 서버와 Kafka Broker 간의 관계를 명확히 이해하는 데 필수적인 과정입니다.