대규모 분산 스토리지(Kage)의 발전과정

이 글은 카카오의 대규모 분산 스토리지 시스템인 Kage의 발전 과정과 특징을 소개합니다. 초기 스타트업에서 흔히 겪는 저장소 문제에 직면했던 카카오가 어떻게 자체적인 분산 스토리지 시스템을 구축하게 되었는지 설명합니다.

Kage는 구글의 GFS와 페이스북의 Haystack과 같은 시스템에서 영감을 받아 탄생했으며, 데이터의 높은 신뢰성과 빠른 응답 속도를 목표로 합니다. 주요 특징으로는 데이터를 3벌씩 3서버에 나누어 저장하고, 데이터 위치를 담은 Kage-Key를 통해 접근하며, 청크 파일에 Expire-Time을 설정하여 자동 삭제하는 방식 등이 있습니다.

이러한 설계는 파일 읽기 트래픽 분산과 장애 발생 시에도 서비스 연속성을 보장하는 데 기여합니다.