결정 계수(Coefficient of Determination)

SST, SSE, SSR

 

총 수정 제곱합(Total Corrected Sum of Squares) $SST = \sum_{i = 1}^{n} (y_{i} - \bar {y})^{2} = \sum_{i = 1}^{n} y_{i}^{2} - \bar {y}^{2}$

 

오차 제곱합(Error Sum of Squares) $SSE = \sum_{i = 1}^{n}(y_{i} - \hat {y_{i}})^{2}$

 

회귀 제곱합(Regression Sum of Squares) $SSR = \sum_{i = 1}^ {n} (\hat {y_{i}}-\bar {y})^{2}$

 

SSR은 회귀식으로 설명되는 편차를 나타냅니다. 즉 반응 값의 변동이고

 

SSE는 회귀식으로 설명되지 않는 편차입니다. (오차의 변동)

 

SST = SSE + SSR

 

$b = \frac{\sum_{i=1}^{n}(x_{i}-\bar{x})(y_{i}-\bar {y})}{\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}} = \frac{S_{xy}}{S_{xx}}$, 

 

$\alpha = \bar{y} - b\bar {x}$, $\hat {y_{i}} = \alpha + bx_{i}$

 

증명)

 

$SST = \sum_{i=1}^{n}(y_{i}-\bar {y})^{2}$

 

$= \sum_{i=1}^{n}(y_{i}-\hat {y_{i}}+\hat {y_{i}}-\bar {y})^{2}$

 

$= \sum_{i=1}^{n}(y_{i}-\hat {y_{i}})^{2} + \sum_{i=1}^{n}(\hat {y_{i}}-\bar {y})^{2} - 2\sum_{i=1}^{n}(y_{i}-\hat {y_{i}})(\hat {y_i}-\bar {y})$

 

$= SSE + SSR - 2\sum_{i=1}^{n}(y_{i}-\hat {y_{i}})(\hat {y_i}-\bar {y})$

 

$\sum_{i=1}^{n}(y_{i}-\hat {y_{i}})(\hat {y_i}-\bar {y}) = \sum_{i=1}^{n}(y_{i}-a-bx_{i})(a+bx_{i}-\bar {y})$

 

$= \sum_{i=1}^{n}(y_{i}-\bar {y}+b\bar {x}-bx_{i})(\bar {y}-b\bar {x}+bx_{i}-\bar {y}) = \sum_{i=1}^{n}(y_{i}-\bar {y}-b(x_{i}-\bar {x}))b(x_{i}-\bar {x})$ 

$= b\sum_{i=1}^{n}(y_{i}-\bar {y})(x_{i}-\bar {x}) - b^{2}\sum_{i=1}^{n}(x_{i}-\bar {x})^{2}$

$= \frac {S_{xy}}{S_{xx}}S_{xy} - (\frac {S_{xy}}{S_{xx}})^{2} S_{xx}$ 

$= \frac {S_{xy}^{2}}{S_{xx}} - \frac{S_{xy}^{2}}{S_{xx}} = 0$

 

 

결정계수

 

$R^{2} = \frac {SSR}{SST} = 1 - \frac {SSE}{SST}$

 

적합 모형에 의해 설명된 변동의 비율에 대한 척도를 나타냅니다.

 

$R^{2}$가 0에 가까우면 추정된 회귀 직선이 자료를 잘 설명하지 못하는 것이고 1에 가까울수록 적합 모형이 자료를 완벽히 설명합니다.

 

$R^{2}$는 총 제곱합에서 회귀 직선에 의하여 설명되는 부분(제곱합)이 기여하는 비율이므로 기여율이라고도 합니다.