실시간 광고 사용자 ID 매핑

본 글은 네이버 광고 시스템에서 실시간으로 발생하는 대량의 이벤트 로그를 처리하여 사용자 ID를 그룹 ID에 매핑하는 시스템을 소개합니다. 이 시스템은 마이크로서비스 아키텍처를 기반으로 하며, gRPC와 Spark Structured Streaming을 활용하여 각 모듈을 Apache Kafka로 연결하여 디커플링합니다.

사용자가 여러 디바이스와 브라우저에서 발생하는 다양한 ID(ad_id, mobile_id, browser_id)를 하나의 그룹 ID로 묶어 광고 사용자 그룹을 대표할 수 있도록 합니다. 이를 통해 개별 로그만으로는 파악하기 어려운 사용자 행동 패턴을 그룹 단위로 분석하고 광고 효율을 높이는 데 기여합니다.

글에서는 시스템 설계부터 각 주요 모듈의 역할과 데이터 처리 흐름을 상세히 설명하며, 사용자 ID를 그래프 구조로 매핑하는 과정도 포함합니다.