Apache Atlas on Amazon EMR을 사용하여 Data Lineage 구성하기

이 글은 데이터 거버넌스의 중요성을 강조하며, Apache Atlas를 Amazon EMR 위에 설치하여 데이터 리니지를 구성하는 방법을 설명합니다. Apache Atlas는 데이터레이크의 메타데이터 관리, 카탈로깅, 데이터 리니지, 데이터 분류를 통합적으로 관리할 수 있게 해주는 도구입니다.

특히 Hive 메타데이터 관리와 데이터 리니지 생성에 초점을 맞춰, AWS Glue Data Catalog를 Hive 메타스토어로 활용하여 Apache Atlas와 연동하는 과정을 다룹니다. 이를 통해 데이터 흐름을 시각적으로 파악하고 데이터 분석에 활용할 수 있습니다.

솔루션 개요에서는 Apache Atlas가 의존하는 기술 스택(JanusGraph, Apache Solr, Apache HBase, Apache ZooKeeper, Apache Kafka)과 Amazon EMR 및 AWS Glue와의 연동 아키텍처를 간략히 소개합니다.