Kubernetes GPU 클러스터에서 AI 서비스 오토스케일링하기

NAVER ENGINEERING DAY 2025에서 발표된 이 세션은 대규모 Kubernetes GPU 클러스터에서 AI 서비스의 오토스케일링을 구현한 사례를 다룹니다. 글로벌 유저 트래픽에 동적으로 대응하기 위해 자체 HPA 시스템을 구축한 경험을 공유하며, 특히 GPU 기반 서비스의 오토스케일링이 어려운 이유와 KEDA(Event-Driven Autoscaler)를 활용한 SNOW의 GPU Orchestration 시스템 구축 과정을 상세히 소개합니다.

이 글은 GPU 서버 기반 Kubernetes 클러스터 도입을 고려하거나, Kubernetes에서 AI 서비스 오토스케일링을 고도화하려는 엔지니어들에게 유용한 정보를 제공합니다.