Chat DIC 프로젝트에서 AWS Bedrock Prompt Caching으로 성능 최적화하기

SK플래닛의 사내 AI 프로젝트 Chat DIC에서 AWS Bedrock의 Prompt Caching 기능을 활용하여 성능을 최적화한 사례를 소개합니다. Chat DIC은 DB 스키마 기반으로 SQL 쿼리를 생성하는 서비스로, Prompt Caching을 통해 반복적인 프롬프트 문맥을 캐싱하여 모델 재계산을 줄였습니다.

이를 통해 응답 지연 시간을 단축하고 토큰 사용량을 절감하여 비용 효율성을 높였습니다. 글에서는 Prompt Caching의 개요, 작동 원리(Cache Checkpoint, TTL), 지원 모델 및 API, 그리고 프롬프트 관리 방법에 대해 상세히 설명하며, 실제 프로젝트에 적용된 구체적인 효과를 제시합니다.