Data Lineage를 활용한 Data Ontology 출발

이 글은 SK텔레콤 강민우님이 작성한 기술 블로그로, Data Ontology 구축을 위한 Engineering 관점에서의 초기 데이터 구성 방법, 특히 Data Lineage 생성에 초점을 맞추고 있습니다. Data Ontology는 특정 도메인의 개체, 클래스, 속성, 관계 등을 형식적으로 표현한 지식 구조이며, Data Lineage는 데이터의 생성부터 소비까지의 전체 흐름과 변화를 추적하는 체계입니다.

글에서는 JsqlParser와 같은 도구를 활용하여 Table Level Lineage를 추출하는 방법론을 제안하며, 이를 통해 Mart 데이터의 속성을 정의하고 추적하는 과정을 설명합니다. 궁극적으로 이러한 접근 방식이 마케팅, AI 사업 등 다양한 분야에서 새로운 인사이트 발굴과 응용 가능성을 열어줄 것으로 기대하고 있습니다.