Kubernetes를 이용한 효율적인 데이터 엔지니어링(Airflow on Kubernetes VS Airflow Kubernetes Executor) – 1

이 글은 LINE Financial Data Platform에서 Kubernetes를 활용하여 데이터 엔지니어링을 효율화하는 경험을 공유합니다. Apache Airflow는 워크플로우를 코드로 작성, 스케줄링, 모니터링하는 오픈소스 플랫폼으로, 특히 과거 데이터 재처리 작업에 유용합니다.

글에서는 Airflow의 다양한 Executor 종류와 동작 방식을 설명하며, 특히 Kubernetes 환경에 최적화된 'Kubernetes Executor'와 'KubernetesPodOperator'의 특징, 장단점을 비교 분석합니다. 이를 통해 Kubernetes를 데이터 엔지니어링에 적용하여 확장성을 높인 실제 운영 및 개발 사례를 소개하고, 데이터 플랫폼의 효율적인 운영 방안을 제시합니다.