서버리스에서 쿠버네티스로: Airflow 운영 경험기

컬리 데이터서비스개발팀에서 데이터 파이프라인에 사용하던 서버리스 Airflow를 Kubernetes (K8S) 환경으로 이관하며 겪은 운영 경험을 공유하는 글입니다. 초기에는 AWS Managed Workflows for Apache Airflow나 GCP Composer와 같은 관리형 서비스를 사용했지만, 기술 성숙도 향상과 성능 및 비용 최적화를 위해 K8S 환경으로 전환을 시도했습니다.

K8S 환경에 Helm으로 배포된 Airflow는 Metadata DB, Redis 큐, Scheduler, Trigger, Worker 등 다양한 컴포넌트로 구성됩니다. 이 글은 K8S로의 전환 과정에서 발생한 CPU 과부하 문제 해결 등 실제 운영 중 마주친 이슈들을 다루며, 이를 통해 기술 수준을 높이고 안정적인 운영을 위한 경험을 공유합니다.