실시간 OLAP을 위한 Apache Pinot 운영 노하우

이 글은 카카오페이에서 실시간 OLAP 시스템인 Apache Pinot를 도입하고 운영하면서 얻은 실전 노하우를 공유합니다. Pinot는 대용량 데이터 스트림을 실시간으로 수집 및 분석할 수 있는 분산형 데이터 저장소로, Druid나 ClickHouse와 비교되기도 합니다.

글에서는 Pinot 클러스터 구성 방법, 장애 발생 시 복구 아키텍처, 그리고 실시간 Upsert 테이블 운영 시 주의사항 등 실제 운영에서 마주칠 수 있는 문제와 해결 방안을 상세히 다룹니다. 특히, 참고할 만한 운영 사례가 부족했던 초기 도입 과정에서의 어려움과 이를 극복한 경험을 바탕으로, 서비스 안정성을 높이는 클러스터 구성 팁과 이슈 해결 케이스를 제공하여 Pinot 운영을 고려하거나 이미 운영 중인 엔지니어들에게 실질적인 도움을 줄 수 있도록 구성되었습니다.

0 버전을 기준으로 작성되었습니다. 전을 기준으로 작성되었습니다.