Amazon Bedrock을 이용하여 Stream 방식의 한국어 Chatbot 구현하기

이 글은 Amazon Bedrock을 활용하여 한국어 스트리밍 챗봇을 구현하는 방법을 설명합니다. Amazon Bedrock은 AWS 환경에서 Amazon Titan, Anthropic Claude 등 다양한 LLM을 쉽게 사용할 수 있게 해주며, 특히 Claude 모델은 한국어 지원이 우수합니다.

사용자와의 원활한 대화를 위해 답변을 스트리밍 방식으로 제공하는 것이 중요하며, 이를 위해 WebSocket과 AWS Lambda를 활용한 서버리스 아키텍처를 구축합니다. API Gateway를 통해 클라이언트와 서버를 WebSocket으로 연결하고, Lambda 함수로 세션을 관리합니다.

채팅 이력은 Amazon DynamoDB에 저장되며, 이는 사용자에게 이전 대화 내용을 보여주고 LLM의 문맥 파악을 돕는 데 활용됩니다.