스캐터랩이 가장 재밌는 LLM을 찾는 방법

스캐터랩은 자체 LLM 서비스 '제타'에 최적화된 모델을 찾기 위해 매주 다수의 모델을 학습하고 배포합니다. 기존 벤치마크 점수나 LLM-as-a-judge 방식은 실제 사용성과 괴리가 있을 수 있다는 문제점을 지적하며, '재미'와 같이 주관적이고 시간에 따라 변하는 요소를 어떻게 객관적으로 평가할 수 있을지에 대한 고민을 제시합니다.

본문에서는 이러한 고민을 해결하기 위해 실제 제품 환경에서 유저 반응을 기반으로 LLM을 평가하는 A/B 테스트, Multi-Armed Bandit(MAB), 리더보드 등의 방법론을 소개하고, 실제 모델 답변 후보들을 제시하며 어떤 답변이 유저의 몰입을 더 잘 이끌어낼 수 있을지 질문을 던집니다. 궁극적으로는 정량적인 벤치마크를 넘어 실제 유저 경험을 통해 최적의 LLM을 찾아가는 과정을 다룹니다.