카카오의 전사 리소스 모니터링 시스템 – KEMI(Kakao Event Metering & monItoring)

카카오의 전사 리소스 모니터링 시스템인 KEMI(Kakao Event Metering & monItoring)에 대한 글입니다. KEMI는 KEMI-STATS와 KEMI-LOG 두 가지로 구성되어 있습니다.

KEMI-STATS는 서버 및 컨테이너 리소스의 메트릭 데이터를 수집하고, KEMI-LOG는 수집된 로그를 대시보드 형태로 보여주거나 실시간 알림을 제공합니다. KEMI-STATS는 수만 대의 서버와 컨테이너를 모니터링하기 위해 Polling 방식과 Push 방식을 모두 사용합니다.

Polling 방식은 SNMP를 통해 서버의 시스템 메트릭을 수집하며, Jenkins 배치 job과 Kafka를 활용하여 주기적으로 데이터를 가져옵니다. Push 방식은 컨테이너 리소스 모니터링 및 SNMP 지원이 어려운 서버에 사용됩니다.

이 시스템은 카카오의 안정적인 인프라 운영에 기여하고 있습니다.