RLHF 외에 LLM이 피드백을 학습할 수 있는 방법은 무엇이 있을까?

이 글은 RLHF(Reinforcement Learning from Human Feedback) 외에 대규모 언어 모델(LLM)이 사용자 피드백을 학습할 수 있는 다양한 방법론을 소개하고, 핑퐁팀의 실험 경험을 공유합니다. RLHF는 사람의 피드백을 통해 리워드 모델을 학습시켜 안전하고 유용한 답변을 생성하도록 LLM을 파인튜닝하는 방식입니다.

하지만 RLHF는 복잡한 학습 과정, 다수의 모델 필요, 높은 GPU 리소스 요구 등의 단점을 가집니다. 이에 대한 대안으로 DeepSpeed, FSDP, CPU Offloading, Parameter sharing, LoRA와 같은 PEFT(Parameter Efficient Fine-Tuning) 기법을 RLHF에 적용하는 방안을 모색합니다.

이를 통해 LLM 학습의 효율성을 높이고 더 나은 대화 어시스턴트를 개발하는 방법을 탐구합니다.