대규모 로그 처리도 OK! Elasticsearch 클러스터 개선기

토스증권은 일평균 56억 건 이상, 최대 170억 건의 대규모 로그를 Elasticsearch 클러스터로 수집 및 처리하고 있습니다. 서비스 확장으로 로그량이 급증하면서 클러스터 성능 저하 및 장애가 빈번하게 발생했습니다.

이를 해결하기 위해 최근 로그는 Hot 노드에서, 오래된 로그는 Warm 노드에서 처리하는 Hot-warm 아키텍처를 도입하고, 인덱스 수명 주기 관리를 위한 ILM(Index Lifecycle Management)을 구성했습니다. 또한, 필드 데이터 메모리 과다 사용 및 잦은 가비지 컬렉션 문제를 해결하기 위한 클러스터 안정화 작업을 진행했습니다.

이러한 개선을 통해 대규모 로그를 효율적이고 안정적으로 처리할 수 있는 환경을 구축했습니다.