새로운 루다를 지탱하는 모델 서빙 아키텍처 — 2편: ArgoCD와 모델 서빙

이 글은 새로운 루다 서비스를 지탱하는 모델 서빙 아키텍처의 두 번째 편으로, ArgoCD를 활용한 안정적인 모델 서빙 인프라 구축 방법을 다룹니다. 이전 글에서 백엔드 서버와 모델 추론 서버를 분리하고 A/B 테스트를 위한 추상화 구조를 소개했다면, 이번 글에서는 모델 추론 구조를 파이프라인으로 정의하여 각 서버의 관심사를 분리하고, 모델 A/B 테스트를 손쉽게 배포 및 수행할 수 있는 구조를 기술적으로 상세히 설명합니다.

모델 파이프라인 서버는 실제 모델 추론보다는 추론에 필요한 여러 서버들과 통신하며 입출력 결과를 관리하는 역할을 수행하며, 이를 통해 모델 아키텍처 변화에 유연하게 대응하고 안정적인 서비스 운영을 가능하게 합니다.