GPU를 밀도 있게 쓰는 방법 - 토스증권의 GPU 가상화(MIG) 도입기

토스증권은 고성능 GPU 클러스터 구축 경험을 바탕으로, 모든 ML 태스크가 고성능 GPU를 필요로 하지 않는다는 점에 주목하여 GPU 자원 낭비 문제를 해결하고자 했습니다. 특히 LLM 학습이나 파인튜닝 외의 간단한 실험, PoC, 서비스 운영 단계에서 작은 모델을 고성능 GPU에 배치할 경우 발생하는 메모리 비효율성과 비용 손실이 심각했습니다.

데이터 분석 결과, 전체 워크로드의 약 1/3이 GPU 자원의 1/4도 활용하지 못하는 것으로 나타났으며, 이는 월 단위로 수천만 원의 비용 손실로 이어질 수 있습니다. 이러한 문제를 해결하기 위해 토스증권은 Nvidia의 GPU 가상화 기술인 MIG(Multi-Instance GPU)를 도입하여, 하나의 물리적 GPU를 여러 개의 독립적인 인스턴스로 분할하여 각기 다른 태스크에 할당함으로써 GPU 활용률을 극대화하고 비용 효율성을 높이는 방안을 모색했습니다.

이 글은 MIG 도입 결정부터 운영까지의 과정을 상세히 기록하고 있습니다.