Derivation of LBFGS Part 3 - BFGS Method

이 글은 최적화 기법 중 하나인 LBFGS Method의 유도 과정을 4개의 파트로 나누어 설명하는 시리즈의 세 번째 글입니다. 이전 글에서 다룬 SR1 Method의 불안정성 문제를 해결하기 위해 BFGS Method를 소개하고, SR1 Method에서 사용된 Rank 1 Matrix 대신 Rank 2 Matrix를 사용하여 B_k+1을 구하는 방식을 설명합니다.

구체적으로 B_k+1 = B_k + a * u_k * u_k^T + b * v_k * v_k^T 공식을 제시하고, u_k = y_k, v_k = B_k * s_k로 설정한 후, Secant Equation을 이용하여 a * u_k * u_k^T + b * v_k * v_k^T의 구체적인 값을 계산하는 과정을 수식으로 유도합니다. 이는 머신러닝 모델 학습에 사용되는 최적화 알고리즘의 근간을 이해하는 데 도움을 줍니다.