루다 선톡을 대비하는법

루다 서비스에서 사용자의 몰입도를 높이기 위한 핵심 기능인 '선톡'은 순간적인 트래픽 급증을 유발합니다. 기존 시스템은 불규칙한 선톡 발송 시간과 예측 어려운 사용자 수 증가로 인해 서버 부하에 효과적으로 대응하기 어려웠습니다.

특히, 현재 RPS(초당 요청 수) 기반의 HPA(Horizontal Pod Autoscaler) 설정은 트래픽 급증 시점에 신속하게 대응하는 데 한계가 있었습니다. 모델 서버의 배포 시간 지연 문제와 함께, 이러한 기존 HPA의 제약 사항을 극복하고 안정적인 서비스 운영을 위한 새로운 트래픽 대응 전략 마련의 필요성을 제기합니다.