Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안

이 글은 AWS 환경에서 Apache Iceberg 테이블 관리 작업 중 발생할 수 있는 Amazon S3 관련 이슈를 분석하고 해결 방안을 제시합니다. Apache Spark, Amazon EMR, AWS Glue 등을 사용하여 Iceberg 테이블의 메타데이터를 관리하는 과정에서 expire_snapshots, remove_orphan_files, rewrite_manifests와 같은 Spark Procedure 사용 시 발생하는 문제에 주목합니다.

특히, Amazon CloudWatch 메트릭과 S3 Server Access Logging을 활용한 문제 분석 방법과, 여러 Iceberg 테이블을 단일 S3 버킷에서 관리할 때 발생하는 S3 Throttling 이슈 해결책을 다룹니다. Hash 파티셔닝과 날짜 기반 prefix 설계를 통한 S3 요청 분산 및 성능 개선 방안을 구체적으로 설명하여 안정적인 Iceberg 테이블 운영을 돕습니다.