음식 사진 한 장으로 내가 딱 원하던 맛집을 찾는 AI, 어떻게 만들었을까

이 글은 음식 사진 한 장으로 원하는 맛집을 찾아주는 AI 시스템 개발 경험을 공유합니다. 핵심 기술로는 OpenAI의 CLIP 모델을 활용하여 이미지와 텍스트를 동일한 임베딩 공간에 매핑하는 기능을 사용했습니다.

사용자가 음식 사진을 업로드하면, CLIP의 이미지 인코더를 통해 해당 이미지의 임베딩 벡터를 생성하고, 이를 기반으로 벡터 공간에서 가장 유사한 맛집 이미지들을 코사인 유사도로 검색합니다. 이렇게 찾아진 유사 이미지에 연결된 맛집 정보를 사용자에게 추천하는 방식으로 작동합니다.

이 시스템은 텍스트 정보 없이 이미지 자체의 의미를 파악하여 맛집 검색의 편의성을 높이는 것을 목표로 합니다. 향후 고도화 방안도 함께 제시하며, CLIP의 멀티모달 특성을 활용한 다양한 응용 가능성을 보여줍니다.