AWS Lambda 를 활용한 Luft 스케일링

이 글은 OLAP 데이터베이스인 Luft의 유동적인 워크로드 특성으로 인해 발생하는 리소스 낭비 및 부족 문제를 해결하기 위해 AWS Lambda를 활용한 스케일링 POC(Proof of Concept) 과정을 다룹니다. 기존 EC2 기반 스케일링은 확장 속도가 느려 요구사항을 충족시키기 어려웠지만, 서버리스 컴퓨팅 서비스인 AWS Lambda는 빠른 시간 내에 대규모 확장이 가능하여 부하 집중 시간에만 클러스터를 신속하게 확장하는 데 유리합니다.

Luft의 쿼리 처리 과정을 스테이지별(Scan, Group by user, Aggregate)로 나누어 설명하고, 각 스테이지가 노드에 분산 실행되는 구조를 보여주며, Lambda를 통한 효율적인 스케일링 방안을 모색합니다. 이를 통해 사용자 경험 개선과 비용 절감을 기대합니다.