연간 LLM 호출 비용 25% 절감, 인턴이 도전한 시맨틱 캐싱 도입 기록

당근 채팅팀 인턴이 LLM 호출 비용을 연간 25% 절감한 시맨틱 캐싱 도입 경험을 공유하는 글입니다. AI 메시지 추천 기능에서 발생하는 높은 LLM 비용 문제를 해결하기 위해, 기존 캐싱 방식과 달리 문장 간 의미 유사도를 활용하는 시맨틱 캐싱 기법을 프로덕션 환경에 적용했습니다.

이 과정에서 임베딩, 벡터 검색, DBSCAN 등의 기술을 활용했으며, 인턴으로서 주도적으로 문제를 발견하고 해결책을 제시하여 기술적, 개인적으로 큰 성장을 이룬 경험을 담고 있습니다.