새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

이 글은 LLM 서빙 비용 최적화의 필요성을 강조하며, 스캐터랩 ML Engineering 팀이 연구해 온 서빙 최적화 기법들을 공유합니다. 특히 모델 성능을 유지하면서 적용 가능한 GPU Kernel Fusion 기법을 중심으로 설명합니다.

LLM 서빙은 GPU 서버 비용 부담이 크기 때문에, 모델 학습 비용보다 서빙 비용이 더 많이 드는 경우가 많습니다. 따라서 LLM 비용 최적화는 필수적이며, 본문에서는 Kernel Fusion을 통해 두 개의 커널 연산을 하나로 합쳐 메모리 접근 오버헤드를 줄이는 방법을 소개합니다.

이를 통해 LLM 서비스를 안정적이고 효율적으로 제공하기 위한 방안을 모색합니다.