AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기

이 글은 AWS DataZone에서 OpenLineage 표준을 활용하여 관계형 데이터베이스의 View 테이블 데이터 계보를 그리는 방법을 설명합니다. View 테이블은 실제 데이터를 저장하지 않고 기본 테이블의 데이터를 기반으로 하므로, 데이터의 출처와 변환 과정을 명확히 파악하는 것이 중요합니다.

AWS DataZone은 기본적으로 게시 및 구독 이벤트에 대한 데이터 계보만 제공하므로, View 테이블에 대한 계보를 직접 작성해야 합니다. 이를 위해 AWS Lambda를 사용하여 OpenLineage 표준에 맞는 데이터 계보 정보를 Amazon DataZone에 업데이트하는 과정을 상세히 다룹니다.

이를 통해 데이터의 신뢰성, 품질, 투명성을 확보하고 시스템 안정성을 유지하며, 효율적인 데이터 관리와 비즈니스 의사결정을 지원합니다.