[if kakao 2022] ML 모델 학습 파이프라인 설계 (feat. MLOps 플랫폼)

카카오페이 MLOps TF에서 모델 학습 파이프라인 설계 경험을 공유하는 글입니다. 기존에는 이상 거래 탐지 시스템(FDS), 개인신용평가(CSS) 등 다양한 AI/ML 모델을 프로덕션으로 서빙하는 과정에서 모델별로 서빙 서버와 피처 테이블을 별도로 구축해야 하는 번거로움과 중복 개발 문제가 있었습니다.

또한, 서버 개발자와 데이터 사이언티스트 모두 ML 모델 서빙 및 관련 배경 지식 습득에 많은 리소스를 투입해야 했습니다. 이러한 문제를 해결하기 위해 카카오페이는 모델 학습부터 관리, 서빙까지 공통으로 사용할 수 있는 MLOps 플랫폼을 정의하고 구축했습니다.

본문에서는 MLOps 플랫폼의 세 가지 주요 컴포넌트(피처 스토어, 모델 학습 파이프라인, 모델 서빙) 중 모델 학습 파이프라인 구축 과정에 대해 상세히 다룹니다.