OpenTelemetry와 Kafka를 활용한 안정적인 Observability 구축기

본 글은 마이크로서비스 아키텍처(MSA) 환경에서 증가하는 시스템 복잡성과 전통적인 모니터링 방식의 한계를 극복하기 위해 OpenTelemetry와 Kafka를 활용하여 안정적인 Observability 환경을 구축한 경험을 공유합니다. OpenTelemetry는 예측하지 못한 복잡한 문제에 대한 답을 찾을 수 있도록 돕는 관찰 가능성(Observability)을 실현하기 위한 표준 기술로, Traces, Metrics, Logs 데이터를 수집하고 전송하는 데 사용됩니다.

글에서는 OpenTelemetry의 기본 개념과 함께, 여기어때컴퍼니가 이 기술을 도입하여 시스템 내부를 깊이 들여다보고 문제를 신속하게 진단할 수 있었던 구체적인 아키텍처 구축 과정을 설명합니다. 이를 통해 복잡한 분산 시스템에서도 효과적인 문제 해결 및 시스템 이해를 가능하게 하는 Observability의 중요성을 강조합니다.