BentoML, 모델 서빙을 간단하게 !

이 글은 모델 서빙을 간편하게 만들어주는 BentoML에 대해 소개합니다. 모델 서빙은 개발된 모델을 실제 서비스 환경에서 사용할 수 있도록 제공하는 과정으로, Batch, Online, Edge(Mobile) 방식으로 나뉩니다.

특히 Online Serving은 실시간 요청에 응답해야 하므로 높은 처리량과 확장성이 중요하며, Docker나 Kubernetes와 같은 기술이 활용됩니다. BentoML은 이러한 Online Serving을 위한 라이브러리 중 하나로, 적은 코드로 프로덕션 서비스를 가능하게 하고 Flask 기반 모델 대비 100배의 처리량을 보여주는 높은 성능을 자랑합니다.

또한 모델 관리를 위한 웹 대시보드 기능도 제공합니다.