Least Squares

본 글은 Least Squares 방법을 선형대수 및 통계학적 관점에서 설명합니다. Least Squares는 주어진 데이터에 가장 잘 맞는 모델을 찾는 데 사용되는 중요한 기법입니다.

특히, 벡터 b를 행렬 A의 열 공간으로 투영하는 과정을 수식으로 유도하며 Least Squares의 원리를 탐구합니다. 이를 위해 선형대수학의 행렬, 벡터, 열 공간, 직교 보공간, 그리고 통계학의 기초 지식이 필요함을 강조합니다.

글에서는 투영 벡터와 잔차 벡터를 정의하고, 잔차 벡터가 A의 전치 행렬의 영 공간에 속함을 보이는 과정을 통해 Least Squares의 수학적 근간을 다룹니다. 이를 통해 Least Squares의 개념을 명확히 이해하고 관련 수식을 유도하는 방법을 배울 수 있습니다.