토스증권 Apache Kafka 데이터센터 이중화 구성 #1

토스증권은 데이터센터 장애 상황에도 안정적인 서비스 제공을 위해 대부분의 시스템을 이중화했으며, 본 아티클에서는 Apache Kafka의 데이터센터 이중화 구성에 대한 개요를 다룹니다. MSA 구조에서 메시지 브로커 역할을 하는 Kafka의 이중화는 필수적이며, 특히 Stateful한 Kafka의 이중화 구성은 많은 고민이 필요합니다.

이 글은 3부작으로 구성되어 있으며, 1부에서는 Kafka 이중화 구성의 필요성과 개요를 설명하고, 2부에서는 양방향 데이터 미러링, 3부에서는 Consumer Group Offset Sync에 대해 상세히 다룰 예정입니다. 토스증권은 Active-Active 구성을 채택하여 두 곳의 데이터센터에 Kubernetes 클러스터를 운영하며 Kafka 이중화를 구현했습니다.