대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환

삼성 계정은 18억 명의 사용자를 대상으로 24/7 안정적인 서비스를 제공하며, 모든 작업은 무중단으로 진행됩니다. 본 글에서는 이러한 제약 조건 하에서 사용자 데이터베이스의 개인 식별 정보를 Kafka를 활용하여 서비스 영향 없이 스키마를 전환하고 컬럼 단위로 암호화한 경험을 공유합니다.

서비스 무중단 암호화 및 마이그레이션을 위해 운영 DB를 복제하여 오프라인 상태의 복제 DB를 생성하고, 여기서 데이터 암호화 및 마이그레이션을 진행했습니다. 이후 암호화된 DB를 바라보는 서비스들을 미리 배포하고 트래픽을 전환하는 방식으로 설계되었습니다.

이 과정에서 삼성전자 표준 암·복호화 솔루션인 D-KMS를 사용하여 최악의 상황에서도 개인정보를 안전하게 보호하는 방법을 모색했습니다.