Gemma 모델과 프롬프트를 활용한 On-Device AI: 에이닷 오토 차량제어 프로토타입

이 글은 에이닷 오토 차량 제어 기능에 On-Device AI를 적용한 경험을 공유합니다. 모바일 기기 자체의 자원으로 AI 기능을 활용하는 On-Device AI는 서버 통신 없이도 AI 기능을 구현할 수 있어 네트워크 제약 없이 일관된 사용자 경험을 제공합니다.

특히, 차량용 어시스턴트 앱에서 STT, LLM, TTS 기능을 On-Device로 구현하는 것이 중요해지고 있습니다. 본문에서는 기존 서버 기반 차량 제어 방식을 설명하고, Gemma 모델과 프롬프팅 기법을 활용하여 사용자의 음성 명령을 분석하고 필요한 차량 제어 정보를 추출하는 서버의 역할을 On-Device AI로 대체하는 과정을 다룹니다.

이를 통해 네트워크 연결 상태와 무관하게 차량 제어 기능을 제공하는 것을 목표로 합니다.