서로가 서로의 자랑이 되는 Data Platform Squad이야기

이 글은 요기요의 Data Platform Squad가 데이터를 수집, 관리, 분석하는 과정을 소개합니다. Data Engineer와 Data Architecture가 협업하여 Data Warehouse(DW)를 구축하고, 데이터를 수집, 적재, 변환하는 인프라를 관리합니다.

또한, 오픈소스 Redash 기반의 BI Tool '다윗(David)'을 개발 및 운영하며 업무 효율성과 안정성을 높이기 위한 Data Infra 개선 프로젝트도 진행합니다. Data Platform Squad는 2주 단위 스프린트 대신 일주일 단위의 빠른 업무 주기를 가지며, 운영 및 세일즈 본부와의 협업을 통해 신속한 피드백 반영 및 개선을 추구합니다.

ETL 파트에서는 AWS, GCP 클라우드 서비스와 Apache NIFI, Rundeck, Embulk 등의 오픈소스 제품을 활용하며, BI Tool은 Python, Flask를 기반으로 합니다.