Luft's Road to Elasticity - Part 2: Auto-Scaling with Query History

이 글은 자체 개발 OLAP 데이터베이스인 Luft의 탄력성을 개선하기 위한 경험을 공유합니다. 이전 글에서 Shared Storage 아키텍처로 전환하여 탄력성을 높인 후, 본 글에서는 쿼리 히스토리를 활용한 비용 기반 오토스케일러 구현에 초점을 맞춥니다.

목표는 오버프로비저닝 없이 클러스터를 운영하며, 쿼리 시점에 부하를 예측하여 필요한 만큼만 스케일링하는 것입니다. 이를 위해 빠른 스케일링을 위한 클러스터 매니저와 정확한 스케일링 결정을 위한 비용 기반 오토스케일러를 구현했습니다.

클러스터 매니저는 Kubernetes의 Go 클라이언트를 사용하여 스케일링을 트리거하고, Karpenter가 실제 스케일링을 처리합니다.