Apache Airflow 운영 경험과 에러대응

29CM 데이터 플랫폼 팀에서 Apache Airflow(Composer)를 운영하며 겪은 경험과 에러 대응 사례를 공유하는 글입니다. 3 버전을 사용하며, Private Service Connect를 통한 비공개 IP 환경 아키텍처를 구축했습니다.

이 글은 Airflow 운영 중 리소스 관리를 효율화하고 코드 품질 및 운영 고도화에 집중한 경험을 다룹니다. 특히, Airflow Pool과 Deferrable 연산자(Trigger)를 활용하여 클러스터 리소스를 효율적으로 관리하고 유연하게 작업을 처리하는 방법에 대해 설명하며, 실제 운영에서 마주친 에러와 그 해결 과정을 공유합니다.

이를 통해 Airflow 운영의 안정성과 효율성을 높이는 방안을 제시합니다. 과 효율성을 높이는 방안을 제시합니다.