Req-Saver로 캐시의 골칫거리 'Thundering Herd 문제' 쉽게 풀기!

LINE+ Contents Service Engineering 조직에서 백엔드 개발자들이 겪는 캐시 관련 문제, 특히 'Thundering Herd 문제'를 해결하기 위해 개발한 사내 라이브러리 'req-shield'에 대해 소개하는 글입니다. Thundering Herd 문제는 캐시 미스 발생 시 다수의 클라이언트 요청이 동시에 백엔드 스토어로 몰려 부하를 야기하는 현상입니다.

이 문제를 해결하기 위해 req-shield는 캐시 적재 시 로컬 또는 글로벌 락(lock) 메커니즘을 적용하여 백엔드 스토어 요청 횟수를 줄이고, 캐시와 백엔드 스토어 모두의 부하를 경감시키는 방안을 제시합니다. 이를 통해 대량 트래픽 환경에서 캐싱 효율성을 높이고 시스템 안정성을 확보하는 방법을 다룹니다.