LINE 광고 데이터 파이프라인 BigDB

LINE 광고팀은 대규모 광고 데이터를 효율적으로 처리하기 위한 플랫폼인 BigDB를 개발했습니다. BigDB는 데이터 수집, 가공, 재가공, 조회 기능을 통합 제공하며, 실시간 및 배치 분석을 지원합니다.

REST CLI, 스키마 관리, 멀티세션 지원, Spark SQL 기반 실시간 데이터 조인, 그리고 가용성을 높이는 이중 저장소 구조 등의 기능을 포함합니다. 기존에 여러 오픈 소스를 조합하여 사용하면서 발생했던 비효율성을 개선하고, 데이터 처리 업무를 공통화하여 운영 편의성을 높이는 것을 목표로 합니다.

이를 통해 LINE 광고 분석 업무의 생산성을 향상시킬 수 있습니다.