비용, 성능, 안정성을 목표로 한 지능형 로그 파이프라인 도입

이 글은 네이버 사내 통합 데이터 플랫폼인 AIDA의 일부인 Logiss 로그 파이프라인 운영 경험을 공유합니다. 기존 파이프라인의 문제점을 해결하기 위해 비용, 성능, 안정성을 목표로 지능형 로그 파이프라인을 도입한 과정을 상세히 설명합니다.

Logiss는 OpenSearch와 OpenSearch Dashboards를 활용하여 실시간 인덱싱 및 검색 기능을 제공하며, Logstash, Kafka, Storm, Java 애플리케이션으로 구성된 파이프라인을 통해 데이터를 OpenSearch와 랜딩 존으로 전송합니다. 랜딩 존은 Cuve, CQuery 등에서 운영되며, SQL 분석을 위한 단기 저장소 역할을 합니다.

글에서는 FEL(FrontEnd Logstash)과 같은 컴포넌트를 포함한 파이프라인 아키텍처와 각 기술 요소의 역할을 소개하며, 대규모 로그 데이터를 효율적으로 처리하기 위한 방안을 제시합니다.