성숙한 LLM 만들기 : LLM Alignment (RLHF, DPO) ft. ChatML

이 글은 LLM의 출력을 사람의 선호도에 맞게 조정하는 'Alignment' 기법에 대해 설명합니다. 이전 포스팅에서 다룬 사전 학습과 지도 학습 기반 파인튜닝(SFT)만으로는 LLM이 사회적으로 적합하거나 융통성 있는 답변을 생성하는 데 한계가 있음을 지적합니다.

이를 해결하기 위해 OpenAI의 ChatGPT 개발에 사용된 RLHF(Reinforcement Learning from Human Feedback)와 더불어, 최근 주목받는 더 효율적인 방법인 DPO(Direct Preference Optimization)를 소개합니다. 특히 Gemma 모델에 DPO를 적용하는 실습 과정을 다루며, LLM Alignment의 중요성과 최신 기법을 소개하는 데 초점을 맞춥니다.