Amazon OpenSearch Service 의 LTR 플러그인을 활용한 검색 품질 개선

본 글은 Amazon OpenSearch Service의 LTR(Learning to Rank) 플러그인을 활용하여 검색 품질을 개선하는 방법을 다룹니다. 기존 BM25 알고리즘은 문서의 키워드 빈도에 기반하여 관련성을 계산하지만, 사용자의 행동 데이터(CTR 등)를 고려하지 못하는 한계가 있습니다.

LTR은 ML 모델을 사용하여 검색 결과의 관련성을 재순위화하는 2단계 Re-Ranker로 작동합니다. 특히, 본 글에서는 XGBoost, Metarank, Ranklib 등의 모델과 Amazon Bedrock의 Claude 모델을 활용하여 가상 데이터를 생성하고, 이를 통해 학습된 순위 조정 결과를 NDCG 지표로 평가하여 검색 품질 개선 효과를 확인하는 과정을 설명합니다.