생성형 AI 기반 실시간 검색 결과 재순위화 1편 - 서빙 시스템 아키텍처

네이버 Personalized Platform 조직은 생성형 AI 모델과 경량화 기술을 활용하여 네이버 검색 결과를 실시간으로 재순위화하는 시스템을 구축했습니다. 이 글은 대규모 트래픽을 LLM으로 서빙하기 위한 서빙 시스템 아키텍처를 중심으로, LLM 기반 검색 서비스의 탄생 배경과 엔지니어링 관점에서 마주했던 도전 과제 및 해결 방안을 공유합니다.

특히, 복잡한 MSA 구조에서 응답 시간 SLO를 달성하고 고부하 상황에서도 시스템 안정성을 유지하기 위한 설계 고려 사항을 다룹니다. LLM의 잠재력을 검색 서비스에 적용하는 과정에서의 기술적 어려움과 이를 극복하기 위한 노력을 소개하며, 유사한 시스템 구축을 고민하는 개발자들에게 실질적인 도움을 제공하는 것을 목표로 합니다.