45분 배치에서 준실시간으로! 다수 도메인 데이터를 Kafka로 통합한 전환기

올리브영은 상품, 쿠폰, 증정, 프로모션 등 다양한 혜택 데이터를 45분 배치 처리에서 준실시간 통합 방식으로 전환하는 과정을 공유합니다. 각기 다른 생명주기를 가진 여러 도메인 데이터를 효율적으로 관리하기 위해 기존 레거시 시스템과의 공존 및 안전한 전환을 고려한 하이브리드 아키텍처를 선택했습니다.

이 과정에서 복잡성을 줄이고 데이터 처리 속도를 높이기 위해 Kafka를 중심으로 한 이벤트 스트리밍 방식을 도입하여 준실시간 데이터 통합을 성공적으로 구현했습니다. 이를 통해 데이터 처리 지연 시간을 크게 단축하고 시스템의 유연성과 확장성을 확보했습니다.