subset selection2 Chap 06 선형 모델 선택 및 정규화 - Subset Selection Best Subset Selection X predictors의 각 가능한 조합들로 선형 회귀를 실행합니다. 어떤 subset이 best라고 판단할 수 있을까요? 하나의 간단한 접근은 가장 작은 RSS 또는 가장 큰 $R^{2}$를 취하는 subset을 채택하는 것입니다. 안타깝게도, 모든 변수를 포함한 모델이 항상 가장 좋은 $R^{2}$과 가장 작은 RSS를 보입니다 Credit Data: $R^{2}$ vs Subset Size RSS/$R^{2}$은 변수가 증가함에 따라 항상 감소/증가합니다. 따라서 유용하지 못합니다. RSS와 $R^{2}$에 따르면 빨간 선은 예측 변수의 수에 따른 가장 적합한 모델을 나타냅니다. Other Measures of Comparison 다른 모델들을 비교할 때, 다.. 2019. 10. 2. Chap 06 선형 모델 선택 및 정규화 - 최소 제곱법 보완 Improving on the Least Squares Regression Estimates? 전에 선형 회귀 모델을 최소 제곱 법을 사용해서 구현했습니다. 최소 제곱법이 아닌 다른 적합 방식으로 선형 회귀 모델을 개선시킬 수는 없을까요? 목표는 MSE를 최소화하는 것입니다. 최소 제곱 추정 사용을 선호하지 않는 두 가지 이유가 있습니다. 1. 예측 정확도 (Prediction Accuracy) 2. 모델 해석력 (Model Interpretability) Prediction Accuracy 최소 제곱 추정은 상대적으로 낮은 편향과 낮은 변동성을 갖습니다. 특히 Y와 X의 관계가 선형이고 관측치 n의 숫자가 예측치 p의 숫자보다 클 때 그러합니다. P(n >> p) 그러나, $n\approx p$일 때,.. 2019. 10. 1. 이전 1 다음
