로봇을 위한 MLOps #2: 엣지 파이프라인의 구성

이 글은 로봇을 위한 MLOps 두 번째 편으로, 엣지 디바이스에서 작동하는 엣지 파이프라인의 구성과 사용된 도구들을 소개합니다. 자율주행 로봇 '딜리'의 시스템 구성을 예시로 들며, Arm 기반 CPU와 GPU를 탑재한 엣지 디바이스의 특징을 설명합니다.

특히, 클라우드나 서버 의존 없이 엣지 디바이스 자체에서 AI 연산을 수행하는 on-device AI의 필요성을 강조합니다. 또한, 다중 모델 동시 추론 성능 평가를 위해 자체 개발한 Trt-Infersight 도구를 처음으로 소개하며, 엣지 환경에서의 효율적인 AI 모델 운영 방안을 모색합니다.