Mapping Karrot’s Data: How We Built Column-Level Lineage

Karrot 팀은 SQL 파싱을 활용하여 컬럼 레벨 데이터 계보(Column-Level Data Lineage)를 구축한 경험을 공유합니다. 데이터 엔지니어, 분석가, 데이터 플랫폼/거버넌스 담당자를 대상으로 하며, 특히 BigQuery와 같은 클라우드 웨어하우스에서 데이터 파이프라인을 운영하거나 테이블 레벨 계보를 넘어 컬럼 레벨까지 확장하려는 경우에 유용합니다.

기존에는 여러 팀에서 생성하는 파생 테이블 간의 복잡한 데이터 흐름을 파악하기 어렵고, 특정 테이블이 어떤 원본 테이블에 의존하는지 추적하는 데 문제가 있었습니다. 이 글은 이러한 문제를 해결하기 위해 SQL 쿼리를 파싱하여 데이터의 상세한 흐름을 시각화하고 관리하는 방법을 설명합니다.