한국어 파인튜닝된 SPLADE 기반 Neural Sparse 모델과 Amazon OpenSearch 하이브리드 검색 벤치마크

본 글은 한국어에 파인튜닝된 SPLADE v3 스타일의 Neural Sparse 모델을 Amazon OpenSearch Service에 배포하고, BM25, Titan Embedding V2 등 다양한 검색 방식과의 하이브리드 조합 성능을 MIRACL-ko 데이터셋으로 비교 분석합니다. 기존 BM25의 어휘 일치 한계를 극복하기 위한 Dense Vector 검색의 등장과 그 한계점을 설명하며, Sparse, Dense, Lexical 검색 방식의 장단점을 비교하고 실제 검색 시스템 구축 시 어떤 방식을 선택해야 할지에 대한 판단 기준을 제시합니다.

코드와 정량 지표를 중심으로 설명하여 실용적인 정보를 제공하며, LLM 기반 검색의 가능성을 탐색합니다.