챗봇 서비스 구축기

사람인 내부 데이터를 활용하여 LLM 기반의 챗봇 서비스를 구축한 경험을 공유하는 글입니다. 기존 룰 기반 챗봇의 한계를 넘어 OpenAI의 ChatGPT 기술을 활용하여 상담사 문의 대응 자동화를 목표로 했습니다.

챗봇은 사용자의 질문을 받아 Function Calling을 통해 의도를 파악하고, 검색 서버 및 Vector DB에서 관련 콘텐츠를 조회합니다. 이후 조회된 콘텐츠와 프롬프트를 조합하여 OpenAI에 전달, 최종 답변을 생성합니다.

특히 Function Calling은 LLM이 실시간 정보나 내부 시스템 데이터에 접근할 수 있도록 하는 핵심 기술로 활용되었습니다. 이 글은 LLM을 활용한 실제 서비스 구축 과정과 아키텍처를 상세히 설명하며, 내부 데이터 연동 및 답변 생성 과정을 보여줍니다.