Language Model의 새로운 패러다임? Large Language Diffusion Model!!

본 글은 기존 Autoregressive (AR) 방식의 대형 언어 모델(LLM)이 가진 노출 편향, 길이 편향, 장기 의존 실패 등의 한계를 지적하며, 이미지 생성 분야에서 성공을 거둔 Diffusion 모델을 언어 모델에 적용한 Large Language Diffusion Model (LLaDA)을 소개합니다. Diffusion LM은 노이즈를 점진적으로 제거하여 데이터를 복원하는 방식으로, 문장 전체를 여러 단계에 걸쳐 정제함으로써 AR 모델의 단점을 극복하고 전역적 일관성을 확보할 수 있다는 장점을 가집니다.

특히, 한 단계에서 발생한 오류를 다음 단계에서 수정할 수 있어 노출 편향을 줄이고, 긴 문맥에서도 일관성 있는 생성이 가능할 것으로 기대됩니다.