Chap02 통계 학습(2)

(통계학을 공부하다 보면 오히려 한국어로 번역하는 것보다 영어로 쓰는 게 의미 파악을 훨씬 쉽게 할 수 있습니다.

 

그러나 영어를 싫어하는 분도 계신 점을 고려하여 둘 모두 쓰겠습니다.)

 

● f를 추정하는 2가지 이유

 

1. 예측(Prediction)

2. 추론(Inference)

● 예측

 

f의 좋은 추정치를 만들 수 있고 $\varepsilon$의 분산이 너무 크지 않다면

 

새로운 값 X에 대한 Y의 값을 정확히 예측할 수 있습니다.

 

 

● 추론 

 

Y와 X들의 관계에 대해 궁금해할 수 있습니다.

 

ex) 어떤 특정 X가 실제로 Y에 영향을 미칠까?, 부정일까 긍정일까, 단순한 선형일까 아니면 더 복잡할까? 등등이 있습니다.

 

 

● f를 추정하는 방법에 대해 알아보겠습니다.

 

훈련 데이터(Training data)를 얻었다고 가정합니다.

 

{$(\mathbf{X_1},Y_{1}),(\mathbf{X_2},Y_{2}),...,(\mathbf{X_n},Y_{n})$}

 

f를 추정하기 위해 Training data와 Statistical Method를 사용하겠습니다.

 

통계적 학습 방법(Statistical Learning Methods)은 모수(Parametric Methods)와 비모수(Non-parametric Methods)가 있습니다.

 

 

● Parametric Methods

 

f를 추정하는 문제는 모수의 집합을 추정하는 것입니다.

 

2단계의 접근법을 사용합니다.

 

1. f의 형태를 가정합니다. 대표적으로 선형 모델(linear model)이 있습니다.

 

$f(\mathbf {X_{i}}) = \beta_{0} + \beta_{1} X_{i1} + \beta_{2} X_{i2} + \cdots + \beta_{p} X_{ip}$

 

앞으로 선형 모델뿐만 아니라 좀 더 복잡하고 유연한 모델도 다룰 예정입니다,

2. Training data를 사용하여 모델을 적합(fit)시킵니다. 위의 예시의 경우 

 

$\beta_{0}, \beta_{1}, \beta_{2},...,  \beta_{p}$를 구하는 것입니다.

 

선형 모델에서 모수를 추정하는데 가장 많이 쓰이는 접근은 최소 자승 추정법(ordinary least squares (OLS))입니다.

 

명심하세요. 단지 하나의 방법일 뿐입니다. 최소자승추정법 외에 더 상위의 접근법을 앞으로 다루겠습니다.

 

표준 편차가 낮을지라도 우리가 잘못된 모델을 사용하면 나쁜 결과를 얻게 됩니다!

 

그림1

 

 

● Non-parametric Methods

 

이 방법은 f의 형태에 대해 명확한 가정을 하지 않습니다.

 

장점: 넓은 범위의 가능한 f에 정확하게 적합할 수 있습니다.

 

단점:  정확한 f의 추정을 위해선 매우 많은 숫자의 데이터(observations)가 필요합니다. 

 

비선형 회귀는 더 유연하고 정확한 추정을 제공합니다.

 

그림2

 

 

여기서 한 가지 의문점이 들 수 있습니다. 

 

그럼 당연히 유연하고 정확한 비모수적 방법을 써야 하는 거 아니야?라고 말이죠

 

그러나 그렇지 않습니다.

 

그 이유는 다음 시간에 설명드리겠습니다. 감사합니다.