RLHF - 어떻게 LLM의 성능을 향상시킬 수 있을까?

이 글은 LLM(거대 언어 모델)의 성능을 향상시키기 위한 RLHF(Reinforcement Learning from Human Feedback) 기법에 대해 설명합니다. GPT-4, PaLM, LLama와 같은 LLM은 방대한 데이터로 사전 학습되지만, 학습 데이터에 포함된 부적절한 정보로 인해 편향되거나 부정확한 답변을 생성하는 문제가 발생할 수 있습니다.

이러한 문제를 해결하기 위해 사람이 원하는 방향으로 모델을 통제하는 것이 중요하며, 이를 위해 Supervised Fine-tuning(SFT)과 RLHF 방식이 활용됩니다. 사전 학습(Unsupervised Learning) 단계에서 모델은 방대한 도메인 지식을 습득하지만, 사람의 의도에 맞게 동작하기는 어렵습니다.

SFT는 특정 도메인에 맞춰 모델을 보조하는 역할을 하며, RLHF는 인간의 피드백을 통해 모델의 답변을 더욱 정교하게 만듭니다. 이 글은 RLHF가 LLM의 성능을 고도화하는 핵심 방법론임을 강조합니다.