쏘카 데이터 그룹 - Airflow와 함께한 데이터 환경 구축기(feat. Airflow on Kubernetes)

쏘카 데이터 그룹에서 지난 3년간 Airflow를 구축하고 운영해온 경험을 공유하는 글입니다. 초기 Rundeck 사용부터 Google Cloud Composer, Compute Engine + Docker Compose를 거쳐 Kubernetes(GKE) 환경에 Airflow를 배포 및 운영하기까지의 과정을 상세히 다룹니다.

데이터 그룹의 성장과 함께 발생한 데이터 엔지니어링 이슈를 해결하고, Kubernetes 위에서 Airflow를 효과적으로 활용하기 위한 전략과 고려 사항을 설명합니다. 데이터 파이프라인 및 워크플로우 도구 도입, Kubernetes 환경에서의 Airflow 운영을 고려하는 분들에게 유용한 정보를 제공합니다.