Chap3 회귀분석(3)

● Potential Fit Problems 

 

선형 회귀 모델을 적합할 때 다음과 같은 문제점을 마주할 수 있습니다.

 

1. Non-linearity of the data

2. Dependence of the error terms 

3. Non-constant variance of error terms 

4. Outliers

5. High leverage points 

6. Collinearity 

 

각각에 대한 자세한 설명은 따로 포스팅하도록 하겠습니다.

 

 

● KNN Regression

 

KNN Regression은 KNN classifier랑 비슷합니다.

 

주어진 X 값에서 Y를 예측할 때 training data에서 X와 가장 가까운 지점의 k를 고려한 후 평적인 반응을 취합니다.

 

$f(x) = \frac {1}{K}\sum_{x_{i}\in N_{i}}y_{i}$

 

만약 k가 작다면 KNN은 선형 회귀보다 더 유연합니다.

 

더 낫다고 볼 수 있을까요?

 

 

● KNN Fits for k =1 and k = 9

 

<그림1>

 

● KNN Fits in One Dimension(k = 1 and k = 9)

 

<그림2>

 

● Linear Regression Fit 

 

MSE 그림에서 dash는 linear regression의 MSE입니다.

<그림3>

 

● KNN vs Linear Regression

 

<그림4>

 

● Not So Good in High Dimensional Situations

 

차원이 높을 수록 KNN의 MSE가 높아집니다.

 

<그림5>