GCP Vertex AI Pipelines 사용기

당근마켓 ML 인프라팀은 기존 Kubeflow Pipeline(KFP)을 Google Kubernetes Engine(GKE)에서 운영하다가, 2023년부터 Vertex AI Pipelines로 마이그레이션하여 2024년 1월에 성공적으로 완료했습니다. Vertex AI Pipelines는 Google Cloud Platform(GCP)의 서버리스 ML 파이프라인 관리 및 실행 서비스로, 데이터 전처리, 모델 훈련, 평가, 배포 등 ML 워크플로우의 여러 단계를 자동화할 수 있습니다.

이 글에서는 TensorFlow Extended(TFX) SDK와 함께 Vertex AI Pipelines를 활용하는 방안을 공유하며, Managed Service 도입으로 Kubernetes 클러스터 운영 부담 없이 ML 워크플로우 개발에 집중할 수 있게 된 점을 강조합니다. TFX는 프로덕션 ML 파이프라인을 위한 end-to-end 플랫폼으로, 다양한 환경에서 실행 가능한 컴포넌트 기반 개발을 지원합니다.