Hive에서 실시간으로 쇼핑 데이터를 조회할 수 있게 ETL 개선하기

LINE 쇼핑팀은 수억 개의 상품 정보를 실시간으로 업데이트하며 서비스에 영향을 주지 않는 ETL 작업을 위해 기존 시스템의 한계를 극복해야 했습니다. 이 글은 데이터베이스 부하 감소, 업데이트 주기 개선, 정합성 유지라는 요구 사항을 만족시키기 위한 ETL 개선 과정을 상세히 다룹니다.

초기에는 HBase를 활용한 1차 개선을 시도했으며, 이 과정에서 발생한 문제점과 아키텍처 변화를 설명합니다. 궁극적으로 Hive에서 실시간으로 쇼핑 데이터를 조회할 수 있도록 ETL 파이프라인을 효율적으로 개선하는 방법을 공유합니다.