회귀 모델의 종류와 특징

이 글은 회귀 모델의 기본 개념과 통계학적 정의를 설명합니다. 회귀 모델은 주어진 조건(독립 변수)과 그 영향력(계수)을 바탕으로 평균값(종속 변수)을 예측하는 함수(h())로 정의되며, 측정 오차나 불확실성을 나타내는 오차항(ε)을 포함합니다.

회귀 분석의 목표는 실제 함수 h()에 최대한 근접하는 모델을 찾는 것이며, 이를 위해 모델 검정 과정을 통해 추정된 모델의 예측치와 실측치 간의 잔차가 오차항의 조건을 만족하는지 확인합니다. 모델이 실제 h()를 제대로 반영하지 못하면 underfitting, 잡음까지 학습하면 overfitting 문제가 발생할 수 있으며, 현실의 대부분 회귀 모델은 두 문제의 영향을 모두 받습니다.

회귀 모델은 복잡한 현실을 단순화하기 위해 불필요한 정보를 제거하는 과정이며, 이때 버려진 정보들을 설명하는 것이 모델의 가정입니다.