Apache Airflow와 Amazon SageMaker Feature Store 연동하기

이 글은 Apache Airflow와 Amazon SageMaker Feature Store를 연동하여 머신러닝 파이프라인의 효율성을 높이는 방법을 다룹니다. Apache Airflow는 Python 기반의 워크플로우 관리 오픈소스 플랫폼으로, 머신러닝 파이프라인 구축에 유용하게 사용됩니다.

Feature Store는 조직 내에서 feature를 공유하고 재사용하기 위한 저장소로, 중복 feature 추출을 방지하고 메인 DB 부하를 줄이는 장점이 있습니다. 글에서는 AWS re:Invent 2020에서 출시된 SageMaker Feature Store를 사용하여 feature engineering 후 feature를 저장하는 과정을 검증합니다.

구체적으로 EC2 인스턴스에 Docker로 Airflow를 설치하고, S3에서 데이터를 불러와 전처리한 뒤 SageMaker Feature Store에 업로드하는 DAG를 작성하는 과정을 설명합니다. 이를 통해 프로덕션 환경에서 머신러닝 모델 학습에 필요한 feature를 효율적으로 관리할 수 있는 방안을 제시합니다.