Ch05 Resampling Methods - Leave-One-Out Cross Validation(LOOCV)

 

LOOCV

 

이 방법은 Validation Set 접근법과 유사하지만 단점들을 해결하려고 시도합니다.

 

제시된 각 모델들에 대해 :

 

사이즈가 n인 data set으로 나눕니다. training data set (blue) 사이즈는 n-1이고 validation data set (beige) 사이즈는 1입니다.

 

Training data을 사용하여 모델에 적용합니다.

 

Validate data를 사용한 Validate model을 만든 뒤 대응하는 MSE를 계산합니다.

 

이 과정을 n번 반복합니다.

 

이 모델델의 MSE는 다음과 같이 계산됩니다.

 

$CV_{(n)} = \frac{1}{n}\sum^{n}_{i=1}MSE_{i}$

 

그림1

 

 

LOOCV vs the Validation Set Approach

 

LOOCV는 덜 편향적입니다. (less bias) :

 

n - 1 obs를 포함한 training data를 사용하여 통계 학습 method에 반복적으로 적합시킵니다.

 

LOOCV는 덜 가변적인 MSE를 생산합니다. :

 

The validation approach 경우 반복적으로 적용할 때 다른 MSE를 생성합니다. 나누는 과정에서의 무작위성 때문입니다.

 

반면에 LOOCV를 여러번 수행하는 일은 항상 똑같은 결과를 낳습니다. 매번 1 obs에 근거하여 나누기 때문입니다.

 

LOOCV는 계산 집약적입니다. (단점) :

 

각 모델을 n번이나 적합시켜야합니다.