Chap 09 Support Vector Machines - The Support Vector Machine Classifier

 

Non-Linear Classifier

 

The support vector classifier는 꽤나 생각하기 쉬운 모델입니다. 

 

그러나 linear decision boundary기 때문에 강력하지는 않습니다.

 

선형 회귀를 비선형 회귀로 확장해봅니다. 

 

$Y_{i} = \beta_{0} + \beta_{1} b_{1}(X_{i}) + \beta_{2} b_{2}(X_{i}) +... + \beta_{p} b_{p}(X_{i}) + \varepsilon_{i}$

 

 

A Basis Approach

 

Support vecotr classifier와 비슷한 접근을 취할 수 있습니다. 

 

Ths support vecotr classifier가 $X_{1}, X_{2}, ..., X_{p}$에 의해 확장된 공간 안에서 the optimal hyperplane을 찾는 거였다면 

 

대신에 변환 혹은 기저 $b_{1}(x), b_{2}(x), ..., b_{m}(x)$를 만들어주고 $b_{1}(\mathbf {X}), b_{2}(\mathbf {X}),..., b_{m}(\mathbf {X})$에 의해 확장된 공간 안에서 the optimal hyperplane을 찾게 됩니다. 

 

이 접근은 변형된 공간안에서 linear plane을 형성하지만 원래의 공간에서는 non-linear decision boundary가 됩니다.

 

이를 Support Vecotr Machine Classifier라고 부릅니다. 

 

 

In Reality

 

개념적으로 기본 접근은 어떻게 support vecotr machine이 작동하는가 지만 몇몇 복잡한 수학 계산이 들어가 있습니다. 이는 실제로 $b_{1}(x), b_{2}(x), ..., b_{m}(x)$를 선택하지 못하게 합니다.

 

대신에 기저 공간을 취하는 Kernel function이라 불리는 것을 택하게 됩니다. 

 

보통 kernel functions은 다음을 포함합니다.

 

Linear

Polynomial

Radial Basis

Sigmoid

 

 

Polynomial Kernel On Sim Data

 

Polynomail kernel을 사용하면 SVM이 non-linear decision boundary를 생성하는 걸 볼 수 있습니다. 

 

Test error rate도 꽤 낮습니다. 

 

그림1

 

Radial Basis Kernel

 

Raial Basis Kernel도 lower error rate를 보입니다. 

 

그림2

 

 

Error Rates on S&P Data

 

Radial Basis Kernel을 사용했고 tuning parameter 값을 다르게 하여 error rate를 계산해봤습니다. 

 

이 data의 결과는 GAM이랑 유사하지만 Boosting만큼 좋진 않습니다. 

 

 

그림3