모델 서빙 최적화를 위한 프레임워크 선정과 서빙 성능 극대화하기

카카오페이 데이터 프로덕트 팀은 실시간 서비스에 사용되는 얼굴 인식, OCR 등 다양한 딥러닝 모델의 효율적인 서빙을 위해 모델 서빙 프레임워크 도입을 고민했습니다. 기존에는 파이썬 기반 모델 개발과 코틀린+스프링부트 기반 서버 개발이 분리되어 있어 개발 생산성 저하 및 정합성 이슈가 발생했습니다.

본 포스팅에서는 카카오페이의 상황에 맞는 최적의 모델 서빙 프레임워크 선정을 위한 비교 과정과, 선정된 프레임워크의 서빙 성능 최적화를 위해 다양한 기능을 테스트한 결과를 공유합니다. 이는 모델 서빙 프레임워크 도입을 고려하는 다른 팀들에게 유용한 벤치마킹 데이터가 될 것입니다.