SageMaker AI로 해보는 GPT-OSS 추론 성능 테스트와 용량 산정

본 글은 Amazon SageMaker AI 플랫폼을 활용하여 오픈 웨이트 모델인 GPT-OSS 120B의 추론 성능을 테스트하고 GPU 용량을 산정하는 방법을 다룹니다. SageMaker AI는 ML 개발 전 과정을 지원하는 완전 관리형 ML 플랫폼으로, 복잡한 인프라 관리 부담 없이 모델 개발에 집중할 수 있게 합니다.

LLM 추론은 프리필(Prefill)과 디코드(Decode) 두 단계로 나뉘며, 각 단계의 특성과 GPU 활용 방식의 차이를 설명합니다. 특히 디코드 단계는 메모리 대역폭 바운드 특성을 가지며, 추론 최적화 기법과 성능 지표를 살펴봅니다.

vLLM과 SGLang과 같은 오픈소스 추론 프레임워크를 이용한 실제 워크로드 테스트를 통해 실제 서비스 환경에 적합한 LLM 추론 인프라 구축을 위한 인사이트를 제공합니다.