토스증권 Apache Kafka 데이터센터 이중화 구성 #3 - Offset Sync

토스증권 Realtime Data Team은 Apache Kafka 데이터센터 이중화 구성의 마지막 편으로 Active-Active 환경에서의 Consumer Offset Sync 방식을 다룹니다. Offset은 Kafka 파티션 내 메시지의 고유 번호로, 컨슈머가 데이터 처리 상태를 추적하고 중복 처리 및 데이터 손실을 방지하는 핵심 메커니즘입니다.

이중화 환경에서는 컨슈머 오프셋을 정확히 동기화하는 것이 필수적이며, 그렇지 않으면 데이터 누락이나 중복 처리가 발생할 수 있습니다. 글에서는 기존 오프셋 동기화 방식 중 하나인 Kafka MirrorMaker2(MM2)의 구조와 작동 방식에 대해 간략히 설명하며, 토스증권이 구현한 구체적인 방법에 대한 설명을 예고합니다.