Kafka와 MongoDB, Kubernetes로 유연하고 확장 가능한 LINE 쇼핑 플랫폼 구축하기

LINE 쇼핑 플랫폼은 판매자로부터 받은 수천만 개 이상의 상품 정보를 효율적으로 처리하고 사용자 경험을 개선하기 위해 Kafka, MongoDB, Kubernetes를 활용한 새로운 플랫폼을 구축했습니다. 기존 Oracle 중심의 레거시 시스템은 대규모 상품 데이터 처리와 급증하는 데이터 변경에 대한 유연성 및 확장성 한계가 있었습니다.

새로운 플랫폼은 대량의 상품 정보 처리와 실시간 변경 사항 반영을 통해 사용자에게 최신 상품 정보를 제공하고, 비용 효율적인 확장성을 확보하는 것을 목표로 합니다. 특히, 새벽 시간대에 집중되는 4억 5천만 건의 상품 처리와 2~3억 건의 상품 변경 사항을 신속하게 처리하여 상품 누락, 가격 오류, 품절 정보 미반영 등의 사용자 경험 문제를 해결하고자 합니다.

이 글은 이러한 요구 사항을 충족하기 위한 플랫폼 구축 과정을 소개합니다.