SageMaker JumpStart와 Vector Store를 이용하여 Llama 2로 Chatbot 만들기

이 글은 AWS SageMaker JumpStart와 Vector Store를 활용하여 Llama 2 대규모 언어 모델(LLM) 기반의 챗봇을 구축하는 방법을 설명합니다. LLM은 사전 학습된 지식을 바탕으로 질문에 답변할 수 있지만, 때로는 부정확하거나 환각(hallucination) 현상을 보일 수 있습니다.

이를 해결하기 위해 파인 튜닝 대신 RAG(Retrieval-Augmented Generation) 기법을 활용하며, Vector Store를 지식 데이터베이스로 사용합니다. Vector Store는 텍스트를 임베딩하여 벡터로 저장하고, 이를 통해 의미론적 검색(semantic search)으로 질문과 가장 관련성 높은 답변을 찾아냅니다.

글에서는 Faiss와 같은 인메모리 Vector Store를 사용하여 챗봇의 정확도를 높이는 과정을 다룹니다.