전사 구성원들이 사용하는 배치 데이터 플랫폼 만들기 - Airflow Advanced

쏘카 데이터 플랫폼 팀은 전사 구성원이 Airflow를 활용하여 데이터 파이프라인을 직접 구축할 수 있도록 운영 고도화를 진행했습니다. 초기에는 데이터 엔지니어 위주로 사용되었으나, 비즈니스 본부 전체로 사용자가 확대되면서 발생한 문제점들을 해결하기 위한 과정을 공유합니다.

특히 Kubernetes 환경에서의 Airflow 운영 안정화, 개발 환경 개선을 통한 개발 주기 단축, 보안 강화, 모니터링 시스템 고도화 등 실질적인 운영 경험과 노하우를 다룹니다. 이 글은 Airflow 운영을 개선하고 싶은 엔지니어, Kubernetes 환경에서 Airflow를 다루는 엔지니어, 데이터 플랫폼 구축 및 운영에 관심 있는 개발자에게 유용한 정보를 제공합니다.