Harness를 이용해 LLM 애플리케이션 평가 자동화하기

본 글은 LINE GAME PLATFORM 팀에서 LLM 애플리케이션의 테스트 및 평가 과정을 자동화하기 위해 도입한 방법론을 공유합니다. LLM 애플리케이션은 입력값 변화에 따른 답변의 민감성과 오차 누적으로 인한 변동성 때문에 테스트가 어렵습니다.

이를 해결하기 위해 프롬프트별로 테스트 단위를 세분화하여 개별 프롬프트의 성능을 독립적으로 평가하고, 프롬프트 체이닝의 경우 각 프롬프트별로 테스트 데이터 세트를 마련했습니다. 또한, 도메인 전문가의 정성 평가에 의존하는 기존 방식의 비효율성을 개선하고자 정량 평가 도입을 결정하고, 평가에 필요한 리소스를 줄이기 위한 새로운 평가 기준 개발을 시도했습니다.

이를 통해 LLM 애플리케이션의 품질 보증 및 개발 효율성을 높이는 방안을 모색합니다.