새로운 루다를 지탱하는 모델 서빙 아키텍처 — 3편: 안정적인 LLM 서비스를 위한 서빙 최적화 기법

이 글은 LLM 서빙 비용 최적화의 중요성을 강조하며, 스캐터랩 ML Engineering 팀이 연구해 온 서빙 최적화 기법과 실험 결과를 공유합니다. LLM 학습 비용보다 서빙 비용이 더 많이 드는 문제에 주목하며, 특히 GPU 서버 비용 절감을 위한 최적화 방안을 모색합니다.

본문에서는 모델 성능을 유지하면서 적용 가능한 서빙 최적화 기법 중 하나인 GPU Kernel Fusion을 소개합니다. Kernel Fusion은 여러 커널 연산을 하나로 합쳐 GPU 연산의 오버헤드를 줄이는 기법으로, Matmul과 Add 연산을 하나의 MatmulAdd 커널로 통합하는 예시를 통해 설명합니다.

이를 통해 LLM 서비스의 비용 효율성을 높이는 방안을 제시합니다.