대규모 AI 서비스 운영을 위한 Kubernetes GPU 클러스터 도입기

이 글은 네이버 사내 기술 교류 행사 NAVER ENGINEERING DAY 2024에서 발표된 내용을 기반으로, 스노우 AI 서비스 운영 개선을 위해 기존 GPU 서버 인프라를 Kubernetes 클러스터로 이전하는 과정에서 겪었던 기술적 문제와 해결 방안을 공유합니다. 특히 AI 서비스 운영을 위해 GPU 서버 기반의 Kubernetes 클러스터 도입을 고려하는 엔지니어를 대상으로 하며, Kubernetes와 GPU 자원 스케쥴링의 유연성, 그리고 Kubernetes GPU 클러스터의 미래에 대한 내용을 다룹니다.

대규모 AI 서비스 운영을 위한 인프라 전환 및 최적화에 대한 실질적인 경험과 인사이트를 제공합니다.