GDPR 비용 절감을 위한 데이터 구조 변경 및 클러스터 최적화

본 글은 GDPR 관련 비용 절감을 위해 데이터 구조 변경 및 AWS EMR 클러스터 최적화를 진행한 경험을 공유합니다. GDPR은 EU의 데이터 보호 법규로, 위반 시 막대한 과징금이 부과될 수 있어 준수가 필수적입니다.

서비스는 AWS EMR 환경에서 Hadoop과 Hive를 사용하여 대규모 데이터를 처리하며, 매일 발생하는 GDPR 대응(삭제권, 처리제한권, 이동권 등)에 많은 시간과 비용이 소요되었습니다. 이에 최소한의 수정으로 최대 효과를 내기 위한 방안을 모색했으며, 특히 사용자 ID 탐색 효율성을 높이는 방향으로 데이터 구조를 개선했습니다.

ID당 많은 로그를 가진 데이터의 탐색 비용 문제를 해결함으로써 GDPR 대응 시간과 비용을 크게 절감할 수 있었습니다.