충분통계량(2)

 

충분통계량 정의 : 표본으로 이루어진 함수

 

모수 $\theta$를 갖는 분포에서 추출한 확률 표본 $X_{1},..., X_{n}$에 대한 통계량 $Y = u(X_{1},..., X_{n}$이 주어질 때,

 

$Y = y$일 때의 임의의 통계량 $W = g(X_{1}, ..., X_{n})$에 대한 조건부 확률분포가 $\theta$와 무관하면

 

$Y$는 모수 $\theta$에 대한 충분통계량이고 그 역도 성립합니다. 

 

 

Neymann 인수분해정리 

 

확률분포 함수가 $f_{X}(x;\theta)$인 모집단에서 추출한 확률 표본 $X_{1},..., X_{n}$에 대해 

 

통계량 $Y = u(X_{1}, ..., X_{n})$이 $\theta$의 충분통계량이 되기 위한 필요충분조건은 우도 함수

 

$L(x_{1},..., x_{n};\theta)=\prod_{i=1}^{n} f_{x}(x;\theta)$가 두 함수의 곱으로 표현되는 것입니다. 

 

$L(x_{1},..., x_{n};\theta)= g(y;\theta) h(x_{1},..., x_{n})$

 

$g$는 $y$와 $\theta$만의 함수이고, $h$는 $\theta$를 포함하지 않는 함수입니다. 

 

 

Neymann 인수분해 정리 증명 : 이산형

 

Y가 $\theta$에 대한 충분 통계량이면 모든 $(x_{1},..., x_{n})$, $y$에 대해

 

$P(X_{1} = x_{1}, ..., X_{n} = x_{n} | Y=y)$가 $\theta$에 의존하지 않습니다. 

 

따라서

 

$P(X_{1} = x_{1}, ..., X_{n} = x_{n} | Y=y) = P(X_{1} = x_{1}, ..., X_{n} = x_{n} | Y=u(x_{1},..., x_{n})) = h(x_{1},..., x_{n})$입니다. 

 

$\theta$가 주어질 때 $P(Y=y)$는 $\theta$가 변하면 변할 수 있으므로, $P(Y=y)$는 $y$와 $\theta$의 함수로 나타내 집니다.

 

다시 표현하면 $P(Y=y) = g(y;\theta)$입니다. 

 

정리하면,

 

$L(x_{1},..., x_{n};\theta) = \prod_{i=1}^{n}f_{X}(x_{i};\theta) = P(X_{1} = x_{1}, ..., X_{n} = x_{n})$

 

$=P(Y=y) P(X_{1}=x_{1},..., X_{n} = x_{n} | Y=y)=g(y;\theta) h(x_{1},..., x_{n})$

 

 

Neymann 인수분해 정리 증명 : 연속형

 

$Y$가 $\theta$에 대한 충분 통계량이면 $X_{1},..., X_{n} | Y$의 분포 함수

 

$\frac {f_{X}(x_{1},..., x_{n};\theta)}{f_{Y}(y;\theta )} = \frac {L(x_{1},..., x_{n};\theta)}{f_{Y}(u(x_{1},..., x_{n};\theta)}$

 

이는 $\theta$와 무관하므로 이를 $h(x_{1},..., x_{n})$으로 놓을 수 있습니다.

 

$f_{X}(x_{1},..., x_{n})=f_{Y}(y;\theta) h(x_{1},..., x_{n})$이고, $g(y;\theta)=f_{Y}(y;\theta)$로 놓으면 결과가 성립합니다.

 

 

Neymann 인수분해 정리 예시 : 연속형

 

$X_{1}, X_{2},..., X_{n}$이 평균이 0, 분산이 $\theta$인 정규분포에서 추출된 확률 표본일 때 $Y = \sum X_{i}^{2}$가 $\theta$에 대한 충분 통계량임을 보이세요.

 

풀이 : 

 

$L(x_{1},..., x_{n} ; \theta) = (\frac {1}{\sqrt {2 \pi \sigma}})^{n} exp(-\frac{1}{2\theta}\sum x_{i}^{2}) = (\frac{1}{\sqrt{2 \pi \sigma}})^{n} exp(-\frac {1}{2\theta} y) = g(y ; \theta) \cdot 1$로 인수 분해됩니다.

 

따라서 $Y = \sum X_{i}^{2}$는 분산 $\theta$에 대한 충분 통계량입니다. 

 

 

결합 충분 통계량

 

모수 $\boldsymbol {\theta}=(\theta _{1},..., \theta_{k})$를 가지는 모집단에서 확률 표본 $\textbf {X} = (X_{1},..., X_{n})$의 결합 확률분포 함수를 

 

$f_{\textbf {X}}(\textbf {x};\boldsymbol {\theta })$라 하고, $\textbf {Y} = (Y_{1},..., Y_{k})$를 k차원 통계량이라 할 때,

 

모든 가능한 $\textbf {y}$에 대해 $\textbf {X} | \textbf {Y} = \textbf {y}$의 분포가 모수 $\boldsymbol {\theta}$에 종속되어 있지 않으면, $Y_{1},..., Y_{k}$를 $\boldsymbol {\theta}$에 대한 결합 충분 통계량이라 합니다.

 

 

유니와이즈 수리통계학의 내용을 바탕으로 요약 작성되었습니다.