Self Serving Data Platform 구축하기 (feat. Airflow)

버즈빌 데이터 엔지니어링 팀은 특정 팀에 의존하지 않고 누구나 데이터를 생산 및 소비할 수 있는 셀프 서빙 데이터 플랫폼을 구축했습니다. 과거에는 데이터 파이프라인 생성 요청 시 데이터 엔지니어에게 의존해야 했으나, 서비스 및 분석 도메인 다양화로 인지 부하가 증가하고 데이터 조회 지연 문제가 발생했습니다.

이를 해결하기 위해 도메인 전문성을 활용하는 셀프 서빙 플랫폼 개발을 시작했습니다. 버즈빌의 데이터 인프라는 S3를 SSOT로 활용하고, Athena와 Redshift를 통해 데이터를 분석 및 처리합니다.

특히 Airflow를 활용하여 데이터 파이프라인을 효율적으로 관리하고 자동화하는 방안을 제시합니다.