수리통계학/선형 회귀4 결정 계수(Coefficient of Determination) SST, SSE, SSR 총 수정 제곱합(Total Corrected Sum of Squares) $SST = \sum_{i = 1}^{n} (y_{i} - \bar {y})^{2} = \sum_{i = 1}^{n} y_{i}^{2} - \bar {y}^{2} $ 오차 제곱합(Error Sum of Squares) $SSE = \sum_{i = 1}^{n}(y_{i} - \hat {y_{i}})^{2}$ 회귀 제곱합(Regression Sum of Squares) $SSR = \sum_{i = 1}^ {n} (\hat {y_{i}}-\bar {y})^{2}$ SSR은 회귀식으로 설명되는 편차를 나타냅니다. 즉 반응 값의 변동이고 SSE는 회귀식으로 설명되지 않는 편차입니다. (오차의 변동) SST = S.. 2019. 10. 8. 회귀계수의 추론 - 절편 $\alpha$의 신뢰구간과 가설검정 절편 $\alpha$ 신뢰구간 $\mu_{A} = \alpha,$ $\sigma_{A}^{2} = = \frac {\sum_{i = 1}^{n} x_{i}^{2}}{n\sum_{i = 1}^{n}(x_{i}-\bar {x})^{2}} \sigma^{2} = = \frac {\sum_{i = 1}^{n} x_{i}^{2}}{nS_{xx}}\sigma^{2}$ 이므로 $\frac{\frac{A - \alpha}{\sigma \sqrt {\frac {\sum x_{i}^{2}}{nS_{xx}}}}}{\frac {S}{\sigma}}$는 자유도 $n-2$인 $t$ 분포를 따릅니다. $T = \frac{A - \alpha}{S \sqrt {\sum_{i=1}^{n} x_{i}^{2}/(nS_{xx})}}$가 자유.. 2019. 10. 8. 회귀계수의 추론(기울기) $i = 1,2,..., n$에 대해 $\varepsilon_{i}$은 정규분포를 따른다고 가정 $Y_{i}$는 정규분포 $n(y_{i};\alpha+\beta x_{i}, \sigma)$를 따름 A, B는 독립인 정규확률변수의 선형 함수이므로 $n(a; \alpha, \sigma_{A})$, $n(b; \beta, \sigma_{B})$의 정규분포를 따름 ▶ 기울기 $\beta$의 추정 $\chi^{2} = \frac{(n-1)S^{2}}{\sigma^{2}} = \sum_{i=1}^{n}\frac{(X_{i}-\bar {X})^{2}}{\sigma^{2}}$은 자유도 $v = n - 1$인 카이제곱분포를 따른다. 통계량 $\frac{(n-2)S^{2}}{\sigma^{2}}$은 확률변수 B와 독립으로.. 2019. 9. 20. 단순선형회귀모형(Simple Linear Regression Model) ISLR에서 회귀 모형을 공부하면서 나온 개념들을 수리적으로 증명하려고 합니다. 수리적인 부분이 들어가면 지루하고 어려울 수 있으므로 짧게 여러 번 포스팅하겠습니다. ※ 최소 제곱 법과 적합 모형 ▶ SSE: 잔차 제곱합(residual sum of squares), 오차 제곱합(error sum of squares)라고 합니다. $SSE = \sum_{i=1}^{n} e_{i}^{2} = \sum_{i=1}^{n}(y_{i}-\hat {y_{i}})^{2}=\sum_{i=1}^{n}(y_{i}-a-bx_{i})^{2}$ (a, b에 대한 2 변수 함수) ▶ SSE를 최소화하는 a, b $\frac {\partial (SSE)}{\partial a} = -2\sum_{i=1}^{n}(y_{i}-a-bx_.. 2019. 9. 19. 이전 1 다음