머신러닝을 활용한 검색 품질 지표 개발 (SIGIR’23 Paper Recap)

본 글은 현대적인 검색 엔진의 결과 품질을 정확하게 평가하는 것이 왜 어려운지에 대한 문제 제기에서 시작합니다. 사용자 경험, 비즈니스 목표, 다양한 평가 척도, 결과 유형에 따른 성공 척도 변화 등 복합적인 요인들이 평가를 어렵게 만듭니다.

이러한 문제를 해결하기 위해 사용자 로그 기반 온라인 분석, 레이블 및 서베이 기반 오프라인 분석 등 다양한 기법이 활용됩니다. 글에서는 바람직한 품질 지표의 조건을 제시하고, Naver Data&Analytics 팀에서 SIGIR’23 논문을 기반으로 개발해 온 머신러닝을 활용한 검색 품질 지표 개발 경험을 공유합니다.

이는 사용자 로그에서 추출한 지표를 통해 검색 품질을 더 정확하고 민감하게 측정하려는 시도입니다.