Log Aggregation의 진화: 카카오의 Fluentd 대체기

카카오는 내부 로그 수집 시스템인 kemi-log를 Fluentd를 기반으로 운영해왔습니다. 이 글은 Fluentd를 대체하기 위한 마이그레이션 프로젝트의 배경, 개발 과정, 그리고 성과를 다룹니다.

kemi-log는 사용자로부터 로그를 수신하는 1 레이어와 스토리지로 데이터를 전송하는 2 레이어로 구성된 아키텍처를 가집니다. 이는 특정 스토리지 전송 이슈가 전체 시스템에 영향을 미치는 것을 방지하고, 대규모 트래픽을 효율적으로 관리하기 위함입니다.

또한, Fluentd 설정 관리를 위해 자체 개발한 'tug' 시스템을 사용했지만, Fluentd의 구조적 한계에 부딪혀 대체 프로젝트를 진행하게 되었습니다. 이 글은 이러한 전환 과정을 통해 얻은 운영 효율성 및 안정성 향상에 대한 내용을 공유합니다.