트위터는 왜 모니터링 시스템을 다시 만들었나?

이 글은 트위터가 대규모 트래픽을 처리하기 위해 모니터링 시스템을 두 번이나 재구축한 경험을 공유합니다. 초창기 모니터링 시스템은 Agent, Collector & Storage API, Monitoring, Dashboard, Ad Hoc Queries로 구성되었으나, 급증하는 메트릭 수(1분당 3억 개에서 43억 개로 증가)와 알림 건수(1분당 2,500개에서 3만 개로 증가)를 감당하지 못했습니다.

또한, 알림 설정과 대시보드 구성 간의 불일치 문제도 발생했습니다. 이러한 문제들을 해결하기 위해 트위터는 차세대 모니터링 시스템 구축을 진행했으며, 이 과정에서 얻은 인사이트는 대규모 트래픽을 가진 모니터링 서비스를 클라우드에서 구축하려는 엔지니어들에게 유용한 정보를 제공합니다.