공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]

여기어때컴퍼니 공통플랫폼개발팀에서 1년여간 진행된 공통 Kafka 전환 프로젝트의 Part 2 내용을 다룹니다. Part 1에서 공유된 배경 및 전략에 이어, 본 글에서는 실제 전환 과정에서 마주했던 고민과 구체적인 전환 방식, 그리고 그 결과를 공유합니다.

각 도메인별로 상이한 운영 방식, 클러스터 규모, 트래픽 수준, 인증 방식 등을 고려하여 개별 클러스터에 최적화된 전환 전략을 수립하는 것이 중요했습니다. 특히, 서비스 영향 최소화를 최우선 과제로 삼아, 소규모 클러스터와 대규모 클러스터에 따라 다른 전환 방식을 적용했습니다.

대규모 환경에서는 단순 엔드포인트 변경 시 발생할 수 있는 중복 소비, 누락, 메시지 순서 변경 등의 위험을 방지하기 위한 방안을 모색했습니다. 최종적으로 8개의 도메인 Kafka 클러스터를 전사 공통 Kafka로 성공적으로 전환 완료했습니다.