본문 바로가기

전체 글477

확률변수의 분산 확률변수 $X$의 분산(variacne) $X$의 확률분포의 분산이라고도 하며, $g(X) = (X - \mu)^{2}$의 평균입니다. $Var(X)$ 또는 $\sigma_{X}^{2}$, $\sigma^{2}$으로 표시합니다. $X - \mu$는 관측값의 평균으로부터의 편차(deviation)입니다. 정의 확률변수 $X$가 확률분포 $f(x)$, 평균 $\mu$를 가진다고 할 때, $X$의 분산은 $Var(X) = \sigma^{2} = E[(X - \mu)^{2}] = $ $\sum_{x}(x - \mu)^{2} f(x)$ (이산형) $\int_{-\infty}^{\infty} (x - \mu)^{2} f(x) dx$ (연속형) 입니다. $\sqrt{Var{X}} = \sqrt {\sigma^{2}}.. 2019. 10. 1.
Chap 06 선형 모델 선택 및 정규화 - 최소 제곱법 보완 Improving on the Least Squares Regression Estimates? 전에 선형 회귀 모델을 최소 제곱 법을 사용해서 구현했습니다. 최소 제곱법이 아닌 다른 적합 방식으로 선형 회귀 모델을 개선시킬 수는 없을까요? 목표는 MSE를 최소화하는 것입니다. 최소 제곱 추정 사용을 선호하지 않는 두 가지 이유가 있습니다. 1. 예측 정확도 (Prediction Accuracy) 2. 모델 해석력 (Model Interpretability) Prediction Accuracy 최소 제곱 추정은 상대적으로 낮은 편향과 낮은 변동성을 갖습니다. 특히 Y와 X의 관계가 선형이고 관측치 n의 숫자가 예측치 p의 숫자보다 클 때 그러합니다. P(n >> p) 그러나, $n\approx p$일 때,.. 2019. 10. 1.
로그정규분포 로그정규분포 확률변수 $Y = ln(X)$가 평균 $\mu$이고 표준편차 $\sigma$인 정규분포를 따를 때 확률변수 $X$의 분포를 로그 정규분포(lognormal distribution)라고 합니다. $X$의 밀도 함수는 다음과 같습니다. $f(x; \mu, \sigma) = \frac{1}{\sqrt{2\pi} \sigma x} e^{-\frac {1}{2\sigma^{2}}(lnx - \mu)^{2}}$, x > 0 그 외의 x에서는 0입니다. $\phi$를 표준정규분포의 밀도 함수, $\Phi$를 그 누적분 포함 수라 하면 $Y = ln(X)$이므로 $X = e^{Y}$입니다. $F(x) = P(X \leq x) = P(e^{Y} \leq x) = P(Y \leq lnx) = P(\frac {.. 2019. 9. 30.
2.2.4 기본변형 기본 변형? 앞에서 한 계산의 의미를 기본 변형이란 개념으로 정리하는 것뿐입니다. 손 계산 방법에서는 행렬 $(A \mid \mathbf {y})$나 $(A \mid \mathbf {I})$에서 다음 순서를 따랐습니다. 어느 행을 c배 한다($c\neq 0$). 어느 행의 c배를 다른 행에 더한다. 어느 행과 다른 행을 바꿔 넣는다. 이 순서는 모두 '행렬을 곱한다'로 표현할 수 있습니다. 행렬을 곱한다? 예를 들어보겠습니다. $A = \begin {pmatrix} 2 & 3 & 3 & 9 \\ 3 & 4 & 2 & 9 \\ -2 & -2& 3 & 2 \end {pmatrix}$에 대해 3행을 5배 합니다. $\rightarrow$ '단위행렬의 (3, 3) 성분이 5인 행렬 $Q_{3}(5)$'를 곱합니.. 2019. 9. 30.