토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링

토스증권은 Active-Active 구성으로 Kafka를 운영하며, 이를 위해 양방향 데이터 미러링의 중요성을 강조합니다. Apache Kafka의 MirrorMaker2(MM2)와 같은 오픈소스 도구는 클러스터 간 데이터 복제를 지원하지만, 토스증권은 동일한 토픽 이름으로 미러링하여 사용자 편의성을 높이고자 하는 목표에 MM2가 한계가 있음을 발견했습니다.

이에 토스증권은 Kafka Connect의 Sink Connector 기반으로 자체적인 양방향 데이터 미러링 도구를 개발했습니다. 이 도구는 동일한 토픽명으로 양방향 미러링 기능을 제공하며, 이를 통해 사용자가 데이터 센터 위치에 상관없이 단일 토픽으로 데이터에 접근할 수 있도록 하여 Kafka 이중화 구성의 복잡성을 줄이고 사용자 경험을 향상시켰습니다.