Apache Airflow와 Amazon EKS가 만났을 때 벌어지는 일

무신사 SRE 팀은 AWS 환경에서 대량의 데이터를 수집, 처리하고 이를 기반으로 실시간 애플리케이션을 개발하는 데 있어 데이터 파이프라인의 복잡성 증가 문제를 해결하기 위해 워크플로우 기반 데이터 플랫폼 구축을 고민했습니다. 이 글은 Apache Airflow를 Amazon EKS와 함께 GPU 및 Neuron을 활용하여 운영하는 무신사의 사례를 소개합니다.

특히, 기존 EC2 환경에서의 Airflow 운영 방식과 EKS로의 전환을 통해 얻는 이점들을 다루며, Kubernetes 환경에서의 Airflow 운영 경험과 고려사항을 공유합니다. 이를 통해 복잡한 데이터 처리 워크플로우를 효율적으로 관리하고 클라우드 인프라의 장점을 활용하는 방안을 제시합니다.