AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기

이 글은 Airflow 데이터 파이프라인의 데이터 계보를 AWS DataZone에서 시각화하는 방법을 다룹니다. 데이터 계보는 데이터의 출처와 변환 과정을 추적하여 신뢰성을 높이고 문제 해결을 용이하게 하며, 데이터 거버넌스를 강화하는 데 필수적입니다.

Amazon DataZone은 기본적으로 자체 이벤트에 대한 계보만 제공하므로, Airflow 데이터 계보를 OpenLineage 표준에 맞춰 AWS Lambda를 통해 DataZone에 업데이트하는 솔루션을 소개합니다. 이를 통해 Airflow 작업의 입력, 출력, 상태 등 상세 정보를 시각적으로 확인할 수 있으며, 데이터 마트 생성 작업의 성공 여부도 파악할 수 있습니다.

솔루션 아키텍처는 AWS Lambda가 Airflow에서 OpenLineage 이벤트를 수집하여 DataZone에 전송하는 과정을 포함합니다.