당근 데이터 지도를 그리다: 컬럼 레벨 리니지 구축기

당근 데이터 가치화팀은 데이터의 신뢰성과 투명성을 높이기 위해 컬럼 레벨 데이터 리니지를 구축했습니다. 기존에는 여러 조직에서 생성되는 파생 테이블 간의 데이터 흐름을 파악하기 어려워 장애 발생 시 영향 범위를 신속하게 파악하거나, 스키마 변경 시 파장을 예측하는 데 어려움이 있었습니다.

이 문제를 해결하기 위해 SQL 파싱 기술을 활용하여 컬럼 레벨의 데이터 의존 관계를 시각화하는 데이터 지도를 구축했습니다. 이를 통해 데이터 엔지니어, 분석가, 데이터 플랫폼 담당자들은 데이터의 출처와 흐름을 명확히 이해하고, 데이터 관련 장애 발생 시 신속하게 대응하며, 데이터 변경의 영향을 예측하는 데 도움을 받을 수 있게 되었습니다.

이 프로젝트는 클라우드 환경에서 데이터 파이프라인을 운영하거나 데이터 거버넌스를 강화하려는 조직에 유용한 사례가 될 것입니다.