Derivation of LBFGS Part 2 - SR1 Method

이 글은 최적화 기법 중 하나인 LBFGS(Limited Memory Broyden–Fletcher–Goldfarb–Shanno) Method의 유도 과정을 4개의 파트로 나누어 설명하는 두 번째 글입니다. 특히, SR1(Symmetric Rank-1) Method에 초점을 맞춰 LBFGS의 구조를 깊이 있게 탐구합니다.

뉴턴 방법(Newton's Method)을 사용하여 함수의 최소값을 찾는 과정에서 발생하는 고차원에서의 계산량 문제를 극복하기 위해, Hessian 행렬의 역행렬을 근사하는 준뉴턴 방법(Quasi-Newton Method)의 필요성을 설명합니다. 이를 위해 s_k, g_k, y_k, B_k와 같은 벡터 및 행렬을 정의하며, SR1 Method를 통해 Hessian 행렬의 근사를 어떻게 수행하는지에 대한 수식적 유도를 진행합니다.

이 글은 LBFGS 알고리즘의 수학적 기반을 이해하는 데 도움을 줍니다.