LLM as a Judge를 활용한 CodeBuddy 성능 평가

카카오의 AI 코드 리뷰 서비스인 CodeBuddy는 LLM as a Judge 접근법을 활용하여 AI 모델의 성능을 평가했습니다. 이 방식은 LLM을 평가자로 사용하여 응답의 정확성, 일관성 등을 자동으로 평가하며, 사람의 개입 없이 신속하고 일관된 평가가 가능하다는 장점이 있습니다.

CodeBuddy는 복잡하고 규모가 큰 GitHub PR 기반 코드 리뷰 태스크의 성능 평가에 이 방식을 적용하여, 사람이 직접 평가하기 어려운 복잡한 코드 변경 사항을 효율적으로 분석하고 비교할 수 있었습니다. 하지만 LLM as a Judge 활용 시 고려해야 할 편향 등의 한계점도 발견되었습니다.

글에서는 LLM as a Judge의 개념과 Pointwise, Pairwise, Listwise와 같은 유형, 그리고 실제 활용 경험을 공유합니다.