[Paper Review] Gradient Descent Algorithms

이 글은 'An overview of gradient descent optimization algorithms' 논문을 리뷰하며 머신러닝에서 사용되는 다양한 경사 하강법 최적화 알고리즘에 대한 직관을 제공합니다. 전체 데이터셋을 사용하는 기본적인 배치 경사 하강법(BGD)부터 시작하여, 데이터셋 크기, 스텝 크기, 스텝 방향 변화에 따른 알고리즘들의 관계와 발전 과정을 시각적으로 보여줍니다.

각 알고리즘의 탄생 배경과 특징을 설명하며, 독자들이 경사 하강법 최적화 알고리즘을 더 깊이 이해하도록 돕는 것을 목표로 합니다.