네이버 뉴스 서비스가 장애를 예방하는 방법 - 카오스 엔지니어링

이 글은 네이버 뉴스 서비스에서 장애를 예방하기 위해 카오스 엔지니어링을 도입한 경험을 공유합니다. 특히 외부 인프라에 의존하는 서비스의 특성상 직접 장애 테스트가 어려운 문제를 해결하기 위해 Shopify에서 개발한 오픈소스 도구인 Toxiproxy를 활용했습니다.

Toxiproxy는 애플리케이션 서버와 인프라 장비 사이에 프록시 서버를 두어 네트워크 상태를 인위적으로 변경함으로써 지연, 서버 다운, 대역폭 제한 등 다양한 장애 상황을 모사할 수 있게 해줍니다. 이를 통해 네이버 뉴스 서비스는 nbase-arc(ZooKeeper, Redis 클러스터)의 장애 상황을 효과적으로 테스트하고, 잠재적인 장애에 대한 대비책을 마련하여 서비스 안정성을 높이는 방법을 모색했습니다.