아자르 Data Lifecycle Policy 개발하기

글로벌 서비스 아자르에서 유저 데이터의 효율적인 보관 및 삭제를 위한 Data Lifecycle Policy 시스템 개발 과정을 소개합니다. 개인정보 보호 및 법적 대응을 위해 유저 탈퇴 또는 장기 미접속 시 데이터를 일정 기간 보관 후 삭제하는 정책을 구현했습니다.

데이터는 성격과 필드 단위로 보관 기간을 다르게 설정할 수 있으며, 모든 팀의 애플리케이션 및 분석용 데이터를 포함합니다. 시스템은 이벤트 기반 아키텍처로 설계되었으며, 예약부와 처리부로 나뉩니다.

유저 개인정보 삭제 예약 시 스케줄을 예약하고, 배치 처리를 통해 카프카 이벤트를 발행하여 데이터 삭제를 진행합니다. 이는 복잡한 삭제 트랜잭션 관리의 어려움과 대량 데이터 처리를 위한 REST API 호출의 한계를 극복하기 위한 방안입니다.

마이크로 서비스 아키텍처 환경에서 각 도메인의 데이터 책임을 다하고 테이블 변경에 유연하게 대응하는 것을 목표로 합니다.