GDPR 비용 절감을 위한 데이터 구조 변경 및 클러스터 최적화

본 글은 GDPR 관련 비용 절감을 위해 데이터 구조 변경 및 AWS EMR 클러스터 최적화를 진행한 경험을 공유합니다. GDPR은 EU의 데이터 보호 법규로, 위반 시 막대한 과징금이 부과될 수 있어 기업에게 필수적인 준수 과제입니다.

특히 데이터 양이 증가함에 따라 GDPR 대응 비용 또한 비례하여 증가하는 문제가 발생합니다. 필자는 AWS EMR 환경에서 Hadoop과 Hive를 사용하여 대규모 데이터를 처리하며 발생하는 GDPR 대응 비용 및 시간 증가 문제를 해결하기 위해, 최소한의 수정으로 최대 효과를 낼 수 있는 방안을 모색했습니다.

이를 위해 사용자 ID 탐색 효율성을 높이는 방향으로 데이터 구조를 변경하고, EMR 클러스터 최적화를 통해 비용 절감과 처리 시간 단축이라는 두 마리 토끼를 잡는 성과를 거두었습니다.