하나의 데이터, 멀티 엔진: Apache Iceberg로 구축하는 데이터레이크

여기어때의 데이터 엔지니어 지키님이 Apache Iceberg 테이블 포맷을 도입하고 컴퓨팅과 스토리지가 분리된 데이터 레이크 아키텍처를 구축한 경험을 공유합니다. 기존 Amazon Redshift 기반 데이터 웨어하우스는 데이터 증가에 따른 적재 비효율, 단일 클러스터의 리소스 경합, 급증하는 비용 문제에 직면했습니다.

특히 대용량 테이블의 비효율적인 재적재, 분석 쿼리와 대시보드 간의 성능 경합, 클러스터 확장으로 인한 비용 증가가 주요 문제였습니다. 이러한 문제를 해결하고 미래의 기술 변화에 유연하게 대응하기 위해 벤더 종속성에서 벗어나고 다양한 컴퓨팅 엔진을 활용할 수 있는 Apache Iceberg 기반의 데이터 레이크 아키텍처를 선택하게 된 배경과 과정을 설명합니다.