Kafka 메시지 중복 및 유실 케이스별 해결 방법

올리브영 OMS 프로젝트에서 AWS MSK 기반 Kafka 구축 및 운영 경험을 공유합니다. 본 글은 공급망 관리 시스템 개편 과정에서 발생할 수 있는 Kafka 메시지의 중복 및 유실 문제를 케이스별로 분석하고, 이를 해결하기 위한 고가용성 보장 방법을 중심으로 다룹니다.

기존 EAI 및 Batch 방식에서 Kafka Topic을 통한 실시간 데이터 송수신으로 전환하며 약 40개의 EAI/Batch를 제거하고 30개 이상의 Kafka Topic을 운영했습니다. 이를 통해 처리량이 AS-IS 대비 최대 45배 증가하는 성능 향상을 이루었으며, 무엇보다 중복 및 유실 없는 안정적인 메시지 송수신 구조를 성공적으로 구축했습니다.

이 경험은 Kafka 메시지 중복 및 유실 방지에 관심 있는 개발자들에게 실질적인 도움을 줄 것입니다.