한영 동시 검색 및 인터넷 검색을 활용하여 RAG를 편리하게 활용하기

기업 문서 활용을 위해 LLM과 RAG를 도입하는 사례가 늘고 있습니다. RAG는 기업 데이터를 사전 학습하는 대신, 안전하게 문서를 검색하여 LLM이 활용할 수 있도록 합니다.

하지만 RAG 지식 저장소에 한국어와 영어 문서가 혼재되어 있을 경우, 한국어 질문에 대해 영어 문서 검색 결과가 누락되는 문제가 발생할 수 있습니다. 또한, RAG에 없는 질문에는 답변하지 못하는 한계가 있습니다.

이 글에서는 한영 동시 검색을 통해 영어 문서까지 검색하고 결과를 통합하는 방법과, 인터넷 검색을 활용하여 RAG의 부족한 정보를 보완하는 방법을 제시합니다. 특히, 영어 검색 결과를 한국어로 번역하는 과정에서 발생하는 지연 시간을 줄이기 위해 Multi-Region LLM을 활용하여 번역 요청을 병렬 처리하는 방안을 소개합니다.

이를 통해 RAG의 검색 성능과 사용자 편의성을 크게 향상시킬 수 있습니다.