데이터에 신뢰성과 재사용성까지, Analytics Engineering with dbt

이 글은 쏘카에서 복잡하게 얽혀있던 데이터 마트와 데이터 파이프라인을 dbt(data build tool)를 도입하여 어떻게 견고하고 재사용 가능하게 만들었는지에 대한 경험을 공유합니다. 쏘카는 모빌리티 도메인의 특성상 데이터 러닝 커브가 높아, 다양한 배경의 구성원들이 데이터를 쉽게 활용할 수 있도록 데이터 마트를 운영해왔습니다.

하지만 비즈니스 성장과 함께 데이터 유지보수 비용이 증가하는 문제를 겪었습니다. dbt 도입을 통해 데이터의 신뢰성과 재사용성을 높였으며, 빅쿼리를 중심으로 한 데이터 인프라의 장단점을 분석하고, 규모가 커지는 조직에서 데이터와 메타데이터를 효과적으로 관리하는 방안과 미래 방향성을 제시합니다.

주로 데이터 엔지니어, 데이터 분석가, 백엔드 엔지니어 등 데이터를 활용하는 모든 직군을 대상으로 합니다.