카카오 개발자들을 위한 공용 Message Streaming Platform – Kafka & RabbitMQ

카카오 인프라팀에서 공용 메시지 큐 플랫폼을 구축하고 운영하는 과정을 공유하는 글입니다. 초기에는 TF 단위로 소규모 운영되던 Kafka와 RabbitMQ가 서비스팀의 이용 증가로 인해 2021년 정식 MessageQueue TF 조직으로 확대되었습니다.

2016년 공용 클러스터 오픈을 시작으로 성능 테스트와 튜닝을 거쳐 2018년 안정화된 Kafka 공용 버전, 2020년 최신 버전 업그레이드를 진행했습니다. 서비스 규모가 커지면서 개발자들이 직접 메시지 큐를 운영하고 관리하는 데 따르는 리소스 낭비를 줄이고자 공용 플랫폼을 도입했으며, 향후 신규 클러스터 오픈을 통해 운영 범위를 더욱 확대하고 안정성을 높일 계획입니다.

이 글은 메시지 큐 시스템의 운영 현황과 향후 목표를 공유하며, 대용량 데이터 플랫폼으로서 Kafka의 중요성을 강조합니다.