딥러닝 추천 시스템 in production

이 글은 당근마켓에서 딥러닝 기반 개인화 추천 시스템의 모델 구축 이후, 지속적인 업데이트를 위한 파이프라인과 서빙 시스템 구축 경험을 공유합니다. 특히 Kubernetes 환경에서 머신러닝 워크플로우를 관리하기 위한 플랫폼인 Kubeflow Pipelines를 도입한 과정과 장점을 설명합니다.

기존에 Airflow를 사용하며 겪었던 코드 변환의 번거로움과 복잡한 웹 관리 페이지의 불편함을 해결하기 위해 Kubeflow Pipelines를 시도했고, 간편한 설치와 Python SDK를 활용한 파이프라인 구축의 용이성을 강조합니다. 이를 통해 추천 시스템의 효율적인 업데이트 및 하이퍼 파라미터 테스트가 가능해졌음을 보여줍니다.