NELO Alaska: 대용량 로그 데이터 저장을 위한 Apache Iceberg 도입기

네이버는 대규모 로그 데이터를 효율적으로 저장하고 관리하기 위해 기존 Elasticsearch 기반 로그 모니터링 시스템의 한계를 극복하고자 Apache Iceberg를 도입한 신규 컴포넌트 Alaska를 개발했습니다. 기존 시스템은 데이터 증가에 따른 확장성 문제와 높은 인프라 비용 문제를 겪고 있었습니다.

Iceberg는 데이터 레이크 테이블 형식으로, 대용량 데이터를 저렴하고 확장 가능하게 저장할 수 있는 장점을 가집니다. Alaska는 Kafka를 통해 수신된 로그 데이터를 Iceberg에 저장하며, 기존 Hot/Warm 계층 구조를 개선하여 비용 효율성과 운영 안정성을 높였습니다.

이 도입을 통해 네이버는 수 페타바이트 규모의 로그 데이터를 안정적으로 관리할 수 있게 되었습니다.