Storm과 Elasticsearch Percolator를 이용한 NELO2 알람 기능 개선

네이버의 로그 수집 시스템 NELO2는 기존 알람 기능이 실시간으로 동작하지 않는 문제점을 가지고 있었습니다. 이 글은 실시간 스트리밍 프로세싱 프레임워크인 Storm과 Elasticsearch의 percolator 기능을 활용하여 NELO2의 알람 기능을 개선한 과정을 설명합니다.

기존 시스템은 로그 수신단에서 알람 규칙 매칭을 담당하고 5분마다 규칙을 동기화하며, 알람 서버는 1분 단위로 알람을 발송하여 실시간성이 부족했습니다. 개선된 아키텍처에서는 Storm을 통해 로그를 실시간으로 처리하고, Elasticsearch percolator를 사용하여 로그 유입 시점에 알람 규칙을 효율적으로 매칭함으로써 실시간 알람 기능을 구현했습니다.

이를 통해 장애 감지 및 대응 속도를 향상시키고 사용자 경험을 개선했습니다.