뼈대 있는 가문의 데이터로 만들기

본 글은 데이터 처리, 집계, 모델링 과정에서 발생하는 복잡한 상관관계를 해결하기 위한 'Data Lineage' 구축 경험을 공유합니다. Relational Database에서 테이블 간의 참조 관계를 파악하는 것이 어렵고, 이로 인해 데이터 변경 시 예상치 못한 문제가 발생할 수 있음을 실제 사례를 통해 보여줍니다.

NHN BI분석서비스실에서는 이러한 문제를 해결하기 위해 실행 이력과 작업 쿼리를 분석하여 2천 개 이상의 테이블과 4천 개 이상의 상관관계를 파악하는 Data Lineage를 구축했습니다. 또한, SQL을 AST(Abstract Syntax Trees)로 파싱하여 참조 테이블 및 생성 테이블 정보를 추출하는 사후 처리 방법도 제시하며, 데이터의 족보를 만들어 관리하는 것의 중요성을 강조합니다.