Kafka 메시지 중복 및 유실 케이스별 해결 방법

본 글은 올리브영 OMS 프로젝트에서 AWS MSK를 통해 Kafka를 구축하며 겪었던 메시지 중복 및 유실 문제와 해결 방안을 공유합니다. 기존 EAI 및 Batch 방식의 WMS 연동을 Kafka Topic 기반의 실시간 데이터 송수신 방식으로 전면 개편하면서, 중복과 유실 없는 안정적인 메시지 송수신 구조를 만드는 것이 프로젝트 성공의 핵심 요인이었습니다.

필자는 Kafka 사용 시 발생하는 메시지 중복 및 유실 문제를 다양한 케이스별로 분석하고, 각 상황에 맞는 구체적인 해결 방법을 제시하여 고가용성을 보장하는 방법을 설명합니다. 이를 통해 Kafka 메시지 처리의 안정성과 신뢰성을 높이는 데 기여하고자 합니다.