당근의 GenAI 플랫폼

당근은 'AI 활용에 가장 앞선 당근'이라는 비전 아래 GenAI 플랫폼을 구축하여 다양한 제품 팀의 AI 활용을 지원하고 있습니다. 초기 LLM 도입 시에는 각 팀이 개별적으로 계정을 생성하고 API 키를 관리하는 데 어려움이 있었으나, 이를 해결하기 위해 LLM Router, Prompt Studio, KarrotChat 등의 플랫폼을 개발했습니다.

LLM Router는 여러 AI 모델 제공사의 계정 및 API 키 관리를 중앙 집중화하여 효율성을 높였으며, Prompt Studio는 프롬프트 엔지니어링을 지원하고, KarrotChat은 챗봇 개발을 돕는 역할을 합니다. 이러한 플랫폼들은 당근 내 GenAI 활용 사례를 수백 가지로 다양화하고, AI 모델의 발전에 발맞춰 지속적으로 발전하고 있습니다.

이 글은 당근의 GenAI 플랫폼 구축 경험을 공유하여 유사한 고민을 가진 개발자들에게 시행착오를 줄일 수 있는 인사이트를 제공하고자 합니다.