Airbridge Data Pipeline에서 Serverless 활용 사례

이 글은 Airbridge의 Data Pipeline에서 Serverless 기술을 어떻게 활용하고 있는지 소개합니다. Serverless는 자동으로 인프라가 프로비저닝되고 실행되는 기술로, 특히 주기적으로 실행되는 워크로드에 유용합니다.

Airbridge는 과거 API 서버에 Zappa를 사용했으며, 2019년부터 Data Pipeline에서 Serverless 기술을 도입하기 시작했습니다. 초기에는 Airflow를 사용했지만, 스케줄링 지연과 운영상의 확신 부족 문제로 인해 Lambda와 CloudWatch Event Rules를 대안으로 선택했습니다.

Lambda는 1분, 5분 단위의 코드 실행을 가능하게 하며 가성비 좋은 운영 환경을 제공합니다. 글에서는 Zappa의 한계점과 IaC의 어려움도 언급하며 Serverless 프레임워크의 필요성을 시사합니다.