Transformer - Harder, Better, Faster, Stronger

이 글은 2017년 자연어처리 분야에 큰 영향을 미친 Transformer 구조와 이를 활용한 GPT, BERT 모델에 대해 다룹니다. 기존 순환 신경망(RNN) 구조의 장단점을 설명하고, 특히 순차적 입력으로 인한 장기 의존성 문제(Long Term Dependency Problem)와 기울기 소실(Vanishing Gradient) 현상을 지적합니다.

이러한 한계를 극복하기 위해 등장한 Attention 메커니즘의 중요성을 강조하며, Transformer가 어떻게 이러한 문제들을 해결하고 자연어처리 성능을 혁신했는지 탐구합니다.