멀티턴 이미지 대화: 조규성 vs 안정환, 루다야 누가 더 잘생겼어?

이 글은 기존 포토챗 베타의 한계를 분석하고 이를 개선하여 텍스트 문맥과 사진을 함께 이해하는 생성 기반의 멀티모달 대화 모델을 개발하는 과정을 다룹니다. 기존 리트리벌 모델은 표현력의 한계와 학습 데이터 부족, 단일 이미지-발화 학습 방식의 문제점을 가지고 있었습니다.

이를 해결하기 위해 연구진은 파라미터 크기가 큰 멀티모달 모델(VLM)과 대화 문맥을 고려한 멀티턴 이미지 대화 데이터셋을 활용하여 더 자연스럽고 맥락에 맞는 답변을 생성하는 모델을 개발했습니다. 이를 통해 포토챗 기능을 업그레이드하고 사용자 경험을 향상시키는 것을 목표로 합니다.