Apache Iceberg Connector for AWS Glue를 이용하여 데이터레이크 CRUD 하기

이 글은 AWS Glue와 AWS DMS를 사용하여 온프레미스 데이터 소스를 Amazon S3 데이터레이크에 복제하는 방법을 설명합니다. 특히, 데이터레이크에서 데이터를 수정하고 삭제하는 것이 관계형 데이터베이스만큼 쉽지 않다는 문제를 해결하기 위해 Apache Iceberg를 소개합니다.

Apache Iceberg는 데이터레이크 내 데이터를 쉽게 수정하고 삭제할 수 있는 오픈소스 데이터 프로세싱 프레임워크입니다. 글에서는 AWS DMS로 데이터를 적재하고 Apache Iceberg Connector를 이용해 Iceberg Table을 생성 및 처리하는 과정을 다룹니다.

또한, Amazon Athena의 ACID 트랜잭션 기능 출시를 통해 데이터레이크에 대한 CRUD 작업과 Time-Travel 쿼리 실행이 가능해졌음을 강조합니다. 이를 통해 데이터 엔지니어는 데이터 변경이 잦은 데이터 세트를 효율적으로 관리하고, 정보보호 컴플라이언스 준수를 위한 데이터 삭제 요구를 충족할 수 있습니다.