Derivation of LBFGS Part 4 - LBFGS Method

본 글은 최적화 기법 중 하나인 LBFGS(Limited Memory BFGS) Method의 수식을 유도하는 시리즈의 네 번째 파트입니다. LBFGS는 BFGS Method에서 Hessian 행렬의 크기가 커지는 문제를 해결하기 위해 고안되었습니다.

Hessian 행렬을 직접 저장하는 대신, 제한된 메모리를 사용하여 BFGS Method를 근사적으로 구현하는 방식입니다. 글에서는 LBFGS Method의 구조를 깊이 이해하기 위해 관련 수식들을 단계별로 유도하고 설명합니다.

이는 머신러닝 모델 학습 등에서 효율적인 최적화를 수행하는 데 중요한 기반 지식을 제공합니다.