루다 선톡을 대비하는법

이 글은 루다 서비스에서 갑작스러운 트래픽 증가, 특히 '선톡' 기능으로 인한 부하에 대응하는 방법을 다룹니다. 기존 시스템은 불규칙한 선톡 발송 시간과 사용자 수 증가로 인해 고정적인 스케일아웃 전략 수립에 어려움을 겪었습니다.

또한, 쿠버네티스의 HPA(Horizontal Pod Autoscaler)를 사용하고 있었지만, 현재 RPS(초당 요청 수) 기반의 메트릭으로는 짧은 시간 내 급증하는 트래픽에 효과적으로 대응하기 어렵다는 문제점을 지적합니다. 모델 서버의 배포 시간 지연 또한 이러한 문제에 영향을 미칩니다.

글은 이러한 문제점을 해결하기 위한 방안을 모색하는 과정을 설명합니다.