Derivation of LBFGS Part 1 - Newton’s Method

이 글은 최적화 기법 중 하나인 LBFGS(Limited Memory Broyden–Fletcher–Goldfarb–Shanno) Method의 수식을 유도하는 시리즈의 첫 번째 글로, 뉴턴 방법(Newton's Method)을 다룹니다. PyTorch의 다양한 Optimizer와 달리 LBFGS에 대한 자세한 설명이 부족하다는 점에서 글을 작성하게 되었다고 합니다.

글을 이해하기 위해서는 미적분학, 선형대수학, 머신러닝에 대한 기초 지식이 필요하며, 본문에서는 Taylor Series를 이용하여 함수의 근사치를 표현하는 방법을 설명합니다. 앞으로 LBFGS Method의 구조를 깊이 있게 살펴볼 예정입니다.