서버 증설 없이 처리하는 대규모 트래픽

토스의 라이브 쇼핑 보기 서비스는 출시 초기 예상보다 훨씬 많은 트래픽을 경험하며 급격한 성장을 이루었습니다. 분당 수십만 명의 동시 접속자와 초당 수십만 건의 포인트 지급 요청 API 호출은 서버에 큰 부담을 주었습니다.

이러한 대규모 트래픽은 쓰레드 밀림, 데이터베이스 및 캐시 시스템 과부하, 게이트웨이 장애 등 다양한 문제를 야기할 수 있습니다. 특히 Redis의 CPU 및 메모리 사용량 증가는 캐시 누락으로 이어져 데이터베이스에 더 큰 부하를 줄 수 있으며, 이는 데이터 오염이나 다른 서비스의 장애로까지 확산될 위험이 있습니다.

서버 증설은 비용 문제와 특정 시점에만 발생하는 트래픽에 대한 자원 낭비 가능성 때문에 항상 최적의 해결책은 아닙니다. 본 글은 이러한 대규모 트래픽 상황에서 서버 개발자가 직면하는 문제와 그 해결 방안을 공유합니다.