메신저용 온디바이스 이미지 모델 학습기 1편: 지식 증류로 확장한 다국어 이미지 검색

이 글은 네트워크 호출 없이 모바일 기기 내부에서 작동하는 이미지 이해 기능을 개발한 경험을 공유합니다. 핵심 기술로는 거대 모델의 지식을 작은 모델로 전수하는 '지식 증류' 기법을 활용하여, 이미지-텍스트 임베딩 모델의 성능을 유지하면서 크기와 연산량을 획기적으로 줄였습니다.

이를 통해 영어 전용 텍스트 인코더를 다국어(영어, 일본어, 중국어, 태국어, 한국어)로 확장하여 의미 기반 이미지 검색 기능을 구현했습니다. 메신저 환경에서 이미지 이해 기능이 필요한 이유와 서버가 아닌 온디바이스에서 처리해야 하는 당위성을 설명하며, 다국어 이미지 검색 기능 구현을 통해 5개 언어에서 평균 78%의 Recall@5 성능을 달성하는 성과를 거두었습니다.