Apache Airflow

이 글은 Apache Airflow의 개요, 주요 용어, 그리고 아키텍처에 대해 설명합니다. Apache Airflow는 Airbnb에서 개발되어 아파치 재단에서 관리하는 워크플로우 관리 플랫폼으로, 기존 crontab 등의 방식이 가진 실패 복구, 모니터링, 의존성 관리, 확장성, 배포 등의 문제점을 해결합니다.

Python 기반으로 개발되어 분산 환경에서의 확장성, 웹 대시보드, 커스터마이징 가능한 플러그인 모듈을 제공합니다. 주요 용어로는 워크플로우, 웹서버, 스케줄러, Metastore, Executor, Worker, DAG, Operator, Task 등이 있으며, DAG는 작업들의 의존성을 정의하는 방향성 비순환 그래프입니다.

또한, 단일 노드 아키텍처에 대한 설명도 포함되어 있습니다.