29CM 데이터 파이프라인 소개

29CM의 데이터 파이프라인 변천사와 향후 발전 방향을 소개하는 글입니다. 과거 Phase0에서는 ETL 방식의 데이터 수집, 기준 없는 워크플로 관리, 데이터 중복 저장 등의 문제점을 안고 있었습니다.

이를 해결하기 위해 Phase1에서는 Airflow를 중심으로 데이터 파이프라인을 개선하고, GCS와 BigQuery를 활용하여 데이터 레이크와 데이터 웨어하우스를 통합했습니다. Phase2에서는 더욱 효율적이고 안정적인 데이터 파이프라인 구축을 목표로 하고 있습니다.

이 글은 데이터 기반 의사결정을 위한 데이터 파이프라인 구축 및 운영 경험을 공유하며, 데이터 엔지니어링의 중요성을 강조합니다.