일 41TB, 200억 건의 로그를 ClickStack으로 실시간 처리하기 - 호그와트 도서관 프로젝트

카카오페이증권 DevOps 팀은 서비스 성장으로 인해 하루 41TB, 200억 건 이상의 로그가 발생하는 상황에 직면했습니다. 기존 OpenSearch 기반 시스템은 느린 조회 속도와 높은 비용 문제를 야기했습니다.

이에 PB 규모의 로그를 저비용으로 빠르게 처리하기 위한 '호그와트 도서관 프로젝트'를 시작했습니다. 6% 절감하는 성과를 달성했습니다.

이 글은 기존 아키텍처의 한계를 분석하고, 새로운 로깅 플랫폼 구축 과정을 단계별로 설명하며, 대규모 로그 데이터를 효율적으로 처리하기 위한 기술적 접근 방식을 공유합니다. 하고, 새로운 로깅 플랫폼 구축 과정을 단계별로 설명하며, 대규모 로그 데이터를 효율적으로 처리하기 위한 기술적 접근 방식을 공유합니다.