Spring AI와 Typesense로 1,400명의 질문에 답변하기

본 글은 무신사 글로벌 개발팀에서 Spring AI와 AWS Bedrock, AWS Kendra를 활용하여 1,400명의 사용자 질문에 답변하는 시스템을 구축한 경험을 공유합니다. AI 시대에 발맞춰 서비스에 AI 기능을 도입하고자 AWS Bedrock을 AI 모델로, Spring AI를 도구 정의 및 실행 흐름 제어 기반으로 활용했습니다.

특히, 보안을 중시하여 기업 내부 데이터 유출 위험이 없는 Bedrock을 선택했습니다. 검색 엔진으로는 AWS Kendra를 도입하여 Confluence 문서들을 벡터화하고 의미 검색을 가능하게 했습니다.

Kendra는 Confluence와의 연동이 간편하며, 페이지와 첨부파일을 학습하고 특정 Space만 크롤링하도록 설정하여 효율성을 높였습니다. 이를 통해 사용자의 질문에 대해 AI가 적절한 도구를 사용하여 답변하는 시스템 아키텍처를 구성했습니다.