AWS Lambda와 PyIceberg 로 Amazon S3 Tables 시작하기

AWS re:Invent 2024에서 공개된 Amazon S3 Tables는 Amazon S3에 Apache Iceberg 형식의 테이블을 관리하는 완전 관리형 서비스입니다. 이를 통해 데이터 레이크 테이블 관리가 간소화되며, Athena, EMR(Spark), Redshift, Glue 등 다양한 분석 엔진과 통합됩니다.

특히 자체 관리 Iceberg 대비 쿼리 성능 최대 3배, 초당 트랜잭션 처리량 최대 10배 향상으로 고빈도 업데이트 및 실시간 데이터 삽입에 유리합니다. 본 글에서는 AWS Lambda와 PyIceberg를 활용하여 Amazon S3 Tables에 데이터 INSERT 및 SELECT 작업을 수행하는 방법을 안내합니다.

이벤트 기반 마이크로 적재, 실시간 데이터 추가 및 조회, 자동 스케일링 등 요구사항을 충족하며, 운영 및 비용 효율적으로 DDL 및 DML 작업을 Lambda를 통해 수행할 수 있음을 보여줍니다.