Hive에서 Iceberg로: 데이터 반영 속도 12배 향상의 비밀

LINE Plus 통합 커머스 팀은 기존 HBase 스냅숏과 Hive를 이용한 ETL 방식의 한계를 극복하기 위해 Iceberg로 전환했습니다. 기존 방식은 데이터 규모가 커질수록 반영 비용과 시간이 증가하고, 변경 사항 반영 시 수억 건의 전체 데이터를 다시 써야 하는 문제가 있었습니다.

또한, 사내 Hadoop 리소스 부족으로 데이터 최신성을 보장하기 어려웠습니다. Iceberg 도입을 통해 변경된 데이터만 빠르게 반영하는 증분 처리 구조로 전환하여, 1시간 주기였던 데이터 반영 작업을 5분으로 단축하고 데이터 반영 속도를 약 12배 향상시키는 성과를 거두었습니다.

이는 대용량 데이터 처리의 효율성을 크게 개선한 사례입니다.