Ray를 활용한 GPU Util 100% MLOps: 배치처리부터 모델 서빙까지

이 글은 네이버 기술 교류 행사 NAVER ENGINEERING DAY 2025에서 발표된 내용을 기반으로, Ray 프레임워크를 활용하여 GPU 활용률을 100%로 끌어올린 MLOps 사례를 소개합니다. 특히 배치 처리와 모델 서빙 아키텍처에 초점을 맞추고 있습니다.

Ray Data를 이용한 GPU 활용 극대화 배치 추론 기법과 트러블슈팅 경험, Ray Serve를 통한 배치와 실시간 서빙 통합, 그리고 Ray LLM과 vLLM을 활용한 LLM 배포 및 ServeManager 구조에 대한 상세한 설명이 포함됩니다. 이 글은 배치 파이프라인 설계, 모델 서빙 자동화, GPU 클러스터 관리, 고성능 모델 서빙 API 설계 및 운영, LLM 추론 파이프라인 구성에 관심 있는 개발자들에게 유용한 정보를 제공합니다.