Amazon Bedrock을 이용한 Amorepacific의 리뷰 요약 서비스의 평가 방법 구현하기

Amorepacific의 AI솔루션 팀은 자사몰 및 외부 입점몰의 제품 리뷰를 수집 및 요약하여 내부 직원 생산성을 향상시키는 서비스를 운영하고 있습니다. 이 글은 Amazon Bedrock을 활용한 리뷰 요약 서비스의 품질을 평가하는 방법론을 제안하고 최적화한 사례를 소개합니다.

기존의 정량적 지표 기반 평가 방식은 실제 사람이 판단했을 때 어색하거나 잘못된 결과를 도출하는 한계가 있었으며, 인간 기반 annotation의 부담과 LLM을 통한 품질 검증의 어려움이 존재했습니다. 이에 Amorepacific은 AWS 프로토타이핑팀 및 AI/ML Expert SA와 협력하여 이러한 문제점을 해결하고 리뷰 요약 서비스의 품질을 효과적으로 관리하기 위한 방안을 모색했습니다.