LLM 성능, 어떻게 평가하는 것일까? (feat. lm-eval-harness)

최근 LLM의 발전과 함께 성능 평가의 중요성이 부각되고 있습니다. 1-8B 모델을 평가하는 과정을 다룹니다.

Accuracy, F1 Score, BLEU, ROUGE와 같은 다양한 평가 지표와 확률 기반 및 생성 기반 평가 방법론을 소개하며, LLM as a Judge 접근법까지 탐구합니다. 이를 통해 LLM 모델의 성능을 객관적으로 측정하고 비교하는 방법에 대한 이해를 높이고자 합니다.

기반 및 생성 기반 평가 방법론을 소개하며, LLM as a Judge 접근법까지 탐구합니다. 이를 통해 LLM 모델의 성능을 객관적으로 측정하고 비교하는 방법에 대한 이해를 높이고자 합니다.