AWS 분석 서비스에서 Apache Iceberg 활용하기

본 글은 페타바이트 규모의 데이터를 위한 오픈소스 데이터 테이블 형식인 Apache Iceberg에 대해 설명합니다. Netflix에서 개발되어 아파치 재단으로 이관된 Iceberg는 데이터 레이크에 저장된 대규모 데이터셋을 테이블 형태로 관리하며, Upsert, 스키마 진화, Time Travel 등의 기능을 ACID 트랜잭션을 통해 지원합니다.

기존 Hive 기반 방식의 데이터 일관성 및 스키마 변경의 불편함을 해소하고, 레코드 단위 수정 및 실시간 데이터 처리를 가능하게 합니다. 또한 SQL 지원, 데이터 버전 관리, 크로스 플랫폼 지원 등의 장점을 가지며 AWS Athena, EMR 등 다양한 서비스에서 활용될 수 있습니다.