딥러닝 모델 서비스 A-Z 1편 - 연산 최적화 및 모델 경량화

이 글은 딥러닝 모델을 빠르고 효율적으로 서비스하기 위한 기술적 고려사항을 다룹니다. 모델의 크기가 커짐에 따라 서비스 난이도도 높아지는 현실에서, 핑퐁팀이 모델 서빙을 위해 적용한 방법들을 소개합니다.

주요 내용은 연산 최적화와 모델 경량화입니다. 연산 최적화 부분에서는 MKL-DNN, TensorRT와 같은 라이브러리 지원, Python 병목 현상 해결, 병렬 처리를 위한 환경 변수 설정, 클라우드 지원 등을 다룹니다.

모델 경량화에 대한 심도 있는 논의도 이어질 예정입니다. ML Engineering 관점에서 딥러닝 모델의 실제 서비스 환경에서의 성능 개선 방안을 모색하는 데 중점을 둡니다.