LLaDA: Diffusion language model과 LLM reversal curse

이 글은 Alibaba Ant group에서 제안한 LLaDA(Large Language Diffusion Models) 모델에 대해 소개합니다. LLaDA는 기존의 auto-regressive 구조에 국한되지 않고 디퓨전 모델을 사용하여 대형 언어 모델의 핵심 능력(확장성, 인컨텍스트 학습, 지시 따르기)을 달성할 수 있다고 주장합니다.

글에서는 LLaDA의 작동 방식과 기존 LLM의 확률 계산 방식, 그리고 LLaDA가 제안하는 surrogate loss function을 설명합니다. 특히, LLM reversal curse라는 흥미로운 개념을 소개하며, 이 모델이 언어 모델 학습 방식에 대한 새로운 가능성을 제시함을 강조합니다.

LLaDA는 디퓨전 모델을 활용하여 기존 LLM의 한계를 극복하고 더 나은 성능을 달성할 수 있는 잠재력을 보여줍니다.