꼼꼼하고 이해하기 쉬운 Reformer 리뷰

이 글은 ICLR 2020에서 제안된 Reformer 모델을 리뷰합니다. 기존 Transformer 구조는 데이터 토큰 수가 늘어날수록 모델 크기가 기하급수적으로 커지는 메모리 문제를 가지고 있었습니다.

이는 Attention 메커니즘이 모든 데이터 포인트 쌍 간의 가중치를 계산하기 때문입니다. Reformer는 이러한 메모리 문제를 완화하기 위해 제안된 효율적인 Transformer 구조입니다.

글에서는 Reformer의 이론적 배경과 Attention, Feed Forward Layer, N-stacked Residual Connection 등에서 발생하는 메모리 문제를 어떻게 해결했는지, 그리고 논문의 주요 기여 내용을 상세히 다룹니다. 이를 통해 대규모 언어 모델(LLM)의 효율성을 높이는 데 기여하는 Reformer의 핵심 아이디어를 이해할 수 있습니다.