Chap02 모델정확도 평가하기(1)

● 적합도(fit) 측정

 

회귀 문제를 가정해봅니다. 

 

정확도를 평가하는 일반적인 방법은 mean squared error(MSE)입니다.

 

$MSE = \frac {1}{n}\sum_{i=1}^{n}(y_{i}-\hat {y_{i}})^{2}$

 

$\hat {y_{i}}$은 훈련 데이터에서 뽑아낸 예측 값입니다. 

 

 

● 문제점

 

1. 트레이닝 데이터를 기반으로 MSE를 최소화하는 모델을 디자인합니다. 예를 들어 선형 회귀를 사용하면 

 

MSE가 최소화되는 선을 선택합니다. 

 

2. 우리가 진정으로 봐야 할 것은 새로운 데이터에 잘 맞아떨어지는가입니다. 새로운 데이터는 "Test Data"라고 부릅니다. 

 

3. Training MSE를 가장 작게 만드는 방법이라도 TEST MSE까지 가장 작다는 보장은 없습니다.

 

 

● Training vs. Test MSE's

 

일반적으로 더 유연한 모델이 training MSE가 낮다. 이 모델은 training data을 매우 잘 설명할 수 있습니다. 

 

(참고: 더 유연한 모델이 덜 유연하거나 더 제한적인 모델들보다 f를 측정하는 가능한 모양들의 범주가 넓게 형성됩니다.

 

그러나 덜 유연한 모델들이 모델을 해석하는 데 있어 더 쉽습니다. 따라서 이 둘의 상충관계를 고려해야 합니다)

 

그러나 사실, Test MSE는 간단한 접근(선형 회귀 같은) 보다 더 유연한 모델에서 높게 나타납니다. 

 

 

● Flexibility의 예시 1

 

<그림1>

 

 

 

● Flexibility의 예시 2

 

<그림2>

 

 

● Flexibility의 예시 2

<그림3>

 

 

● Bias/ Variance Tradeoff

 

Test와 Training MSE's을 나타낸 위의 그림들은 통계 학습 방법들의 선택을 좌우하는 매우 중요한 상충관계를 보여줍니다. 

 

학습 방법의 선택에는 편향과 분산 두 가지 충돌이 항상 존재합니다.

 

 

● Bias of Learning Methods

 

편향(Bias)은 보통 엄청 복잡한 실생활 문제를 좀 더 간단한 문제로 모델링할 때 생기는 error입니다.

 

예를 들어 선형 회귀의 경우 Y와 X의 선형 관계를 가정합니다. 그러나 실제 생활에서 그 관계는 정확히

 

선형적이지 않습니다. 이 경우 편향이 존재합니다.

 

더 유연하고 복잡한 방법일수록 편향이 덜합니다. 

 

 

● Variance of Learning Methods

 

분산(Variance)은 다른 training data set을 가지고 있을 경우 f의 추정치가 얼마나 달라지는지를 의미합니다.

 

일반적으로, 더 유연한 모델일수록 분산이 더 큽니다.

 

 

● The Trade-off

 

어떤 $X = x_{0}$가 주어졌을 때, $x_{0}$에 대한 새로운 Y의 expected test MSE는 다음과 같습니다.

 

$ExpectedTestMSE = E(Y-f(x_{0}))^{2} = Bias^{2} + Var + \sigma^{2}$

 

$\sigma^{2}$은 Irreducible Error

 

위의 식을 토대로 모형이 복잡할수록 편향은 감소하고 분산은 증가하므로 test MSE의 기댓값은 증가 또는 감소합니다. 

<그림4>

 

지금까지 모델 정확도를 평가하는데 MSE를 이용하고 편향과 분산의 상충관계를 고려해야 함을 배웠습니다.

 

다음 시간에는 이어서 분류(Classification) 일 경우를 공부하겠습니다.

 

감사합니다.