Kudu를 이용한 빅데이터 다차원 분석 시스템 개발

네이버 콘텐츠 통계 서비스는 콘텐츠 생산자에게 사용자 소비 통계를 제공하기 위해 빅데이터 분석 시스템을 활용합니다. 이 글은 Kudu를 백엔드 데이터베이스로 사용하여 빅데이터 다차원 분석 시스템을 개발한 경험을 공유합니다.

Kudu는 Cloudera에서 개발한 칼럼 기반 스토리지로, primary key를 제공하여 밀리초 수준의 랜덤 액세스를 지원하며 OLAP 및 OLTP 질의를 모두 처리할 수 있습니다. 이를 통해 빅데이터 분석 시스템의 구조를 단순화할 수 있었습니다.

글에서는 주로 저장 및 질의 처리 기능에 초점을 맞춰 Kudu를 활용한 시스템 개발 과정을 설명합니다.