대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환

삼성 계정은 18억 명 이상의 사용자를 보유한 글로벌 서비스로, 24/7 무중단 운영 환경에서 대규모 트래픽을 처리합니다. 본 글에서는 이러한 환경에서 사용자 데이터베이스 내 개인 식별 정보를 Kafka를 이용하여 서비스 영향 없이 스키마 전환 및 컬럼 단위 암호화를 진행한 경험을 공유합니다.

서비스 무중단 암호화 및 마이그레이션이라는 제약사항을 극복하기 위해, 운영 DB를 복제하여 오프라인 상태의 복제 DB를 생성하고, 여기서 데이터 암호화 및 마이그레이션을 진행했습니다. 이후 암호화된 DB를 바라보는 서비스들을 미리 배포하고 트래픽을 전환하는 방식으로 안전하게 작업을 완료했습니다.

이 과정에서 D-KMS 솔루션을 활용하여 데이터 보안을 강화했습니다.