여러 조직에 Airflow 제공하기 1 - 멀티테넌시 Airflow 환경 제공하기

LINE Financial의 데이터 엔지니어들이 여러 조직에서 사용할 수 있는 Airflow 환경을 제공하기 위한 프로젝트 과정을 공유합니다. 기존에는 파편화된 데이터 파이프라인 환경, 온 프레미스 구축으로 인한 비용 증가, 개발자별 환경 구축의 어려움 등의 문제점이 있었습니다.

이를 해결하기 위해 파편화된 파이프라인을 통합하고, 온 프레미스 환경을 프라이빗 클라우드 관리형 Kubernetes로 이전하며, 단일 환경에서 다수의 클러스터에 효율적으로 접근하고 테스트 환경을 개선하는 것을 목표로 삼았습니다. 특히, 단일 Airflow 환경에서 여러 조직이 독립적으로 사용할 수 있도록 멀티테넌시 Git 프로젝트를 도입하여 파이프라인 환경 구조의 통일성을 확보하고 개발 편의성을 높이는 방안을 제시합니다.