DBT와 Airflow 도입하며 마주한 7가지 문제들

당근 데이터 가치화팀에서 DBT와 Airflow를 도입하며 겪었던 7가지 엔지니어링 문제와 해결 과정을 공유하는 글입니다. 데이터 엔지니어링 역량이 부족한 도메인 전문가도 데이터를 활용한 의사결정을 할 수 있도록 돕기 위해 DBT와 Airflow를 선택했으며, 이 과정에서 프로젝트 구조 설계, 모델 저장 방식, Airflow와의 통합, 개발 및 테스트 프로세스, 파이프라인 의존성 관리, 국가별 모델 정의, 백필 처리 등 다양한 기술적 난관에 봉착했습니다.

글은 이러한 문제들을 어떻게 해결해 나갔는지 구체적인 사례와 함께 설명하며, 데이터 엔지니어링 역량 확장을 위한 실질적인 인사이트를 제공합니다.