LLM의 Re-Ranking Ability 검색에 이식하기 1편 - LLM 이식 방법

이 글은 거대 언어 모델(LLM)의 랭킹 능력을 활용하여 롱테일 질의의 검색 결과를 개선하는 방법을 다룹니다. 기존 검색 시스템은 '19개월 잠만자요'와 같은 롱테일 질의에서 사용자의 세부 맥락을 파악하는 데 한계가 있어, 관련 없는 결과가 상위에 노출되는 문제가 있었습니다.

LLM을 재순위화(re-ranking)에 적용하면 이러한 문제를 해결하고, 질의와 문서 간의 관계를 더 정확하게 파악하여 관련성 높은 결과를 상위에 노출시킬 수 있습니다. 글에서는 LLM이 검색에 줄 수 있는 효과와 함께, 랭커로서 LLM의 장점을 설명하고, 실제 검색 서비스 적용 시 발생할 수 있는 한계점들을 논의합니다.

특히, 생성형 LLM을 목록 단위 랭킹에 사용할 때 발생하는 순차 생성 및 렌더링 지연 문제를 지적하며, LLM을 검색에 효과적으로 이식하기 위한 방안을 모색합니다.