로봇 ML 모델의 경량화 #1: 훈련 후 양자화

이 글은 실외 자율주행 로봇에 사용될 머신러닝(ML) 모델의 경량화 필요성과 그 방법 중 하나인 양자화에 대해 다룹니다. 고성능 서버 환경에서 개발된 ML 모델은 충격, 온도 변화, 전력 소모 등에 민감한 로봇 환경에 그대로 적용하기 어렵습니다.

따라서 로봇에는 내구성, 전성비, 크기, 호환성 등을 고려한 엣지 디바이스가 필요하며, 이러한 디바이스에서 ML 모델을 효율적으로 실행하기 위해 모델 경량화가 필수적입니다. 글에서는 양자화의 원리와 NVIDIA 공식 문서를 참고한 적용 방법을 소개하며, 이는 로봇을 포함한 다양한 NVIDIA 하드웨어 기반 컴퓨터에 응용될 수 있습니다.