단순선형회귀모형(Simple Linear Regression Model)

ISLR에서 회귀 모형을 공부하면서 나온 개념들을 수리적으로 증명하려고 합니다.

 

수리적인 부분이 들어가면 지루하고 어려울 수 있으므로 짧게 여러 번 포스팅하겠습니다. 

 

 

※ 최소 제곱 법과 적합 모형

 

 

▶ SSE: 잔차 제곱합(residual sum of squares), 오차 제곱합(error sum of squares)라고 합니다. 

 

$SSE = \sum_{i=1}^{n} e_{i}^{2} = \sum_{i=1}^{n}(y_{i}-\hat {y_{i}})^{2}=\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}$

 

(a, b에 대한 2 변수 함수)

 

 

▶ SSE를 최소화하는 a, b

 

$\frac {\partial (SSE)}{\partial a} = -2\sum_{i=1}^{n}(y_{i}-a-bx_{i})$

 

$\frac {\partial (SSE)}{\partial b} = -2\sum_{i=1}^{n}(y_{i}-a-bx_{i})x_{i}$

 

편미분 값을 0으로 하는 값을 구합니다.

 

$-2\sum_{i=1}^{n}(y_{i}-a-bx_{i}) = 0$,  $-2\sum_{i=1}^{n}(y_{i}-a-bx_{i})x_{i} = 0$이므로

 

$na + b\sum_{i=1}^{n} x_{i}=\sum_{i=1}^{n} y_{i}$,  $a\sum_{i=1}^{n} x_{i} + b\sum_{i=1}^{n} x_{i}^2=\sum_{i=1}^{n} x_{i} y_{i}$ (정규 방정식) 

 

 

▶ 회귀계수의 추정: 표본($x_{i}, y_{i}$), i = 1, 2,..., n이 주어졌을 때 회귀계수 $\alpha$와 $\beta$의 

 

최소 제곱 추정 값(least squares estimates) a와 b는 다음과 같이 계산됩니다.

 

b = $\frac {n\sum_{i=1}^{n} x_{i} y_{i} - (\sum_{i=1}^{n} x_{i})(\sum_{i=1}^{n} y_{i})}{n\sum_{i=1}^{n} x_{i}^{2} - (\sum_{i=1}^{n} x_{i})^{2}}$ = $\frac {\sum_{i=1}^{n}(x_{i}-\bar {x})(y_{i}-\bar {y})}{\sum_{i=1}^{n}(x_{i}-\bar {x})^{2}}$

 

a = $\frac {\sum_{i=1}^{n} y_{i}-b\sum_{i=1}^{n} x_{i}}{n}$ = $\bar {y} - b\bar {x}$