Kubeflow 파이프라인 운용하기

이 글은 당근마켓에서 딥러닝 추천 시스템을 구축하고 1년 동안 운영하며 겪은 경험을 공유합니다. 당근마켓은 머신러닝 시스템의 파이프라인 구축 및 관리를 위해 Kubeflow Pipelines를 사용하고 있으며, GKE와 자체 GPU 워크스테이션 Kubernetes 클러스터에 배포하여 운영 중입니다.

특히, Kubeflow의 다양한 애플리케이션 중 Pipelines만 단독으로 설치하여 운영함으로써 자원 낭비를 줄이고 클러스터 관리를 효율화했습니다. 이를 통해 신규 머신러닝 시스템 개발 시 파이프라인 구성 작업을 비교적 쉽게 할 수 있으며, 전체적인 ML 시스템 운영의 편의성을 높였습니다.