- 추정 (Estimation) – 개요 (Introduction)
- 추정 (Estimation) – 점 추정량의 편향과 MSE (Mean Square Error)
- 추정 (Estimation) – 일반적인 불편(unbiased) 점 추정량
- 추정 (Estimation) – 점 추정량의 적합성 산출
- 추정 (Estimation) – 신뢰구간 (Confidence Intervals)
- 추정 (Estimation) – 다 표본 신뢰구간
- 추정 (Estimation) – 표본 크기 선택
- 추정 (Estimation) – 소(小) 표본 신뢰구간 ; μ 와 μ1 – μ2
- 추정 (Estimation) – 모분산에 대한 신뢰구간
이번 포스트는 추정(Estimation) 의 여덟 번째 포스트로 소(小) 표본 신뢰구간; μ와 μ1 – μ2 (Small-Sample Confidence Intervals for μ and μ1 – μ2) 을 다룬다. 내용은『Mathematical Statistics with Applications, Sixth Edition, DUXBURY , Dennis D. Wackerly / William Mendenhall / Richard L. Scheaffer』 를 참고했다.
8. 소(小) 표본 신뢰구간; μ 와 μ1 – μ2 (Small-Sample Confidence Intervals for μ and μ1-μ2)
우리가 이번 장에서 이야기 나눌 모집단 평균 \mu 의 신뢰구간은 실험자의 표본이 정규 모집단으로부터 랜덤 선택되었다는데 가정을 둔다. 그 구간들은 어떤 크기의 표본에 대해서도 적합하고, 모집단이 과도하게 정규성을 벗어나지 않는 이상, 구간의 신뢰계수도 특정한 값에 가깝다. 우리는 표본을 얻기 전까지는 모집단의 도수 분포에 대한 형태를 알기는 매우 어렵다. 따라서, 구간 추정양이 어떤 값이라면 그것은 모집단이 정규성이 없는 경우에라도 ‘합리적으로 잘’ 작동하여야 한다. 여기서 ‘합리적으로 잘’ 이라는 의미는 정규성에서 살짝 벗어나는 것에 신뢰계수가 영향받지 않는다는 것이다. 대부분의 불룩한 언덕 형태의 모집단 분포의 경우, 실험적인 연구들은 계산상의 지정한 값에 신뢰계수들이 이들 신뢰구간에서 가깝게 유지되는 것을 보여준다.
Y_1,Y_2,...,Y_n 을 정규 모집단에서 추출된 랜덤 표본이라고 하자. \bar{Y} 와 S^2 을 표본 평균과 표본 분산이라고 각각 칭하자. 모집단의 분산 V(Y_i) = \sigma^2 를 모르고, 표본 크기가 매우 작아서 이전 장에서 다뤘던 다(多) 표본 기법을 적용하기 어려운 경우에, 모집단의 평균에 대한 신뢰구간을 형성해 보도록 하자. 정리7.1 과 정리7.3 그리고 정의 7.2 을 통해서,
T = \dfrac{\bar{Y}-\mu}{S/\sqrt{n}}은 (n-1) 자유도를 같은 t 분포를 갖는다. T 가 pivotal 양이므로 \mu 에 대한 신뢰구간을 형성하는데 사용할 것이다. t_{\alpha/2} 와 -t_{\alpha/2} 를 계산할 수 있고,
P(-t_{\alpha/2} \leq T \leq t_{\alpha/2}) = 1-\alpha가 된다.
t 분포의 밀도함수는 표준정규 분포와 아주 유사한 형태를 갖고 있는데, 아래 그림에 나온 것 처럼 다만 꼬리 부분이 좀 더 두껍다. (두텁다.) t_{\alpha/2} 는 (n-1) 자유도에 의존할 뿐만 아니라, 신뢰계수 (1-\alpha) 에도 의존한다.
\mu 에 대한 신뢰구간은 추정-6번째 포스트에서 다뤘던 방법과 마찬가지로 부등식의 변형을 통해서 유도할 수 있다. 이 경우에 유도된 결과, \mu 에 대한 신뢰구간은,
\bar{Y} \pm t_{\alpha/2}(\dfrac{S}{\sqrt{n}})
앞선 가정하에서 \mu 에 대한 100(1-\alpha) 단측 (one-sided) 신뢰구간을 얻을 수 있다. t_{\alpha} 가 P(T \leq t_{\alpha}) =1-\alpha 를 만족하고 T 를 위의 식으로 치환하면,
P(\bar{Y} - t_{\alpha}(S/\sqrt{n}) \leq \mu) = 1-\alpha
따라서, \bar{Y}-t_{\alpha}(S/\sqrt{n}) 는 \mu 에 대한 100(1-\alpha) 단측 하한 신뢰 한계 (lower confidence bound) 가 된다. 마찬가지로, \bar{Y}+t_{\alpha}(S/\sqrt{n}) 는 \mu 에 대한 100(1-\alpha) 단측 상한 신뢰 한계 (upper confidence bound) 가 된다. 다 표본의 경우과 같이, 상한과 하한 모두 100(1-\alpha) 로 규정하면, 결과로서 양측 구간의 신뢰 계수는 1-2\alpha 가 된다.
| 예제1.
새로운 화약을 생산한 제조업자가 8발의 탄환을 실험하였다. 결과 총구의 속력 ( feets/sec ) 은 다음과 같았다. 3005 2925 2935 2965 실제 속력 \mu 에 대한 95% 신뢰구간을 구하라. 총구의 속력은 근사적으로 정규 분포를 따른다고 가정한다. |
풀이.
총구의 속력 Y_i 들이 정규 분포를 따른다고 가정하면 \mu 의 신뢰구간은 다음과 같다.
\bar{Y} \pm t_{\alpha/2}(\dfrac{S}{\sqrt{n}})
( t_{\alpha/2} 가 (n-1) 자유도를 갖는다). 얻어진 데이터에서 \bar{y}=2959 이고 s = 39.1 이다. 자유도는 n-1 = 7 이므로 t_{\alpha/2}=t_{0.025}=2.365 이다. 따라서
2959 \pm 2.365 (\dfrac{39.1}{\sqrt{8}}) 또는 2959 \pm 32.7
을 \mu 에 대한 관측된 신뢰구간으로 얻는다.
두 정규 모집단의 평균을 비교하는 것에 관심이 있다고 생각해 보자. 하나는 평균 \mu_1 과 분산 \sigma^2_1 을 따르고, 다른 하나는 평균 \mu_2 와 분산 \sigma^2_2 을 따른다. 표본이 독립적이라면, t 분포의 랜덤 변수를 기초로한 \mu_1 - \mu_2 의 신뢰구간은 두 모집단이 공통의 미지의 분산 ( \sigma^2_1=\sigma^2_2 =\sigma^2 ) 값을 갖는다는 가정하에 도출할 수 있다.
만약, \bar{Y_1} 과 \bar{Y_2} 가 정규 모집단으로부터 독립적으로 추출된 랜덤 표본이라면, \mu_1 - \mu_2 의 다 표본 신뢰구간은
Z = \dfrac{(\bar{Y_1}-\bar{Y_2}) - (\mu_1-\mu_2)}{\sqrt{\dfrac{\sigma^2_1}{n_1}+\dfrac{\sigma^2_2}{n_2}}}
의 pivotal 양을 이용하여 도출될 수 있다. 표본 추출된 모집단들이 정규 분포를 띄기 때문에 Z 는 표준정규분포를 갖고, \sigma^2_1=\sigma^2_2 =\sigma^2 이라는 가정을 사용하여, Z 는 아래와 같이 다시 쓸 수 있다.
Z = \dfrac{(\bar{Y_1}-\bar{Y_2}) - (\mu_1-\mu_2)}{\sigma\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}}
\sigma 가 미지이므로, t분포를 따르는 양을 형성하기 위해 공통의 분산값 \sigma^2 에 대한 추정량을 찾아야 한다.
첫 번째 모집단으로부터 표본 크기 n_1 인 Y_{11},Y_{12},...,Y_{1n_1} 랜덤 샘플을 추출하고, 두번째 모집단으로부터 독립적으로 표본 크기 n_2 인 Y_{21},Y_{22},...,Y_{2n_1} 를 추출했다고 하자. 그러면
\bar{Y_1}=\dfrac{1}{n_1}\displaystyle\sum^{n_1}_{i=1}Y_{1i} 이고, \bar{Y_2}=\dfrac{1}{n_2}\displaystyle\sum^{n_2}_{i=1}Y_{2i} 이다.
일반적인 분산 \sigma^2 의 불편 추정량 (unbiased estimator) 은 pooled estimator S^2_p 를 얻기 위해 표본 데이터를 모아서 얻는다.
S^2_p=\dfrac{\displaystyle\sum^{n_1}_{i=1}(Y_{1i}-\bar{Y_1})^2+\displaystyle\sum^{n_2}_{i=1}(Y_{2i}-\bar{Y_2})^2}{n_1+n_2-2}=\dfrac{(n_1-1)S^2_1+(n_2-1)S^2_2}{n_1+n_2-2}
( S^2_i 는 i = 1, 2 인 i 번째 표본의 표본 분산이다.)
만약 n_1 = n_2 이면, S^2_p 는 단순히 S^2_1 과 S^2_2 의 평균이 된다. 만약 n_1\not= n_2 이면, S^2_1 과 S^2_2 의 가중치 평균이 되는데, 더 큰 가중치가 더 큰 표본 크기에 부여된다. 더 나아가
W = \dfrac{(n_1+n_2-2)S^2_p}{\sigma^2}=\dfrac{\displaystyle\sum^{n_1}_{i=1}(Y_{1i}-\bar{Y_1})^2}{\sigma^2} +\dfrac{\displaystyle\sum^{n_2}_{i=1}(Y_{2i}-\bar{Y_2})^2}{\sigma^2}
는 (n_1-1) 과 (n_2-1) 의 자유도를 갖는 두 개의 독립적인 \chi^2 분포의 랜덤 변수의 합이 된다. 따라서 W는 \nu = (n_1-1) + (n_2-1) = (n_1+n_2-2) 의 자유도를 갖는 \chi^2 를 갖는다. pivotal 양을 형성하기 위해서, \chi^2 분포의 변수 W와 이전 단락에서 정의한 표준 정규양 Z 를 활용한다. ( W 와 Z 는 독립적이다. )
T = \dfrac{Z}{\sqrt{\dfrac{W}{\nu}}} = \Bigg[\dfrac{(\bar{Y_1}-\bar{Y_2}) - (\mu_1-\mu_2)}{\sigma\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}} \Bigg] \Bigg/ \sqrt{\dfrac{(n_1+n_2-2)S^2_p}{\sigma^2(n_1+n_2-2)}}=\dfrac{(\bar{Y_1}-\bar{Y_2}) - (\mu_1-\mu_2)}{Sp\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}}
생성된 양은 (n_1+n_2-2) 자유도를 갖는 t 분포를 갖는다. (\mu_1-\mu_2) 의 신뢰구간은 아래 형태를 갖는다.
(\bar{Y_1}-\bar{Y_2}) \pm t_{\alpha/2}S_p\sqrt{\dfrac{1}{n_1} + \dfrac{1}{n_2}}
( t_{\alpha/2} 는 (n_1+n_2-2) 자유도를 갖는 t 분포에서 결정된다.)
| 예제2.
조립공장에서 최대 효율을 달성하기 위해서 1달 간의 훈련 기간이 필요하다. 새로운 훈련방식이 제안되었고, 표준 절차와 새로운 방식 간에 비교를 수행하는 테스트가 이루어 졌다. 9명의 작업자들로 이뤄진 두 그룹이 3주간 훈련을 받았다. 한 그룹은 표준 절차대로 훈련을 받고, 다른 그룹은 새로운 훈련 방식으로 훈련을 받았다. 각 작업자에게 3주 기간이 끝나고 수행하는 조립 작업 시간 (분) 이 기록되었다. 그 결과는 아래 표에 기록되었다. 0.95의 신뢰계수로 두 방식간의 조립 시간의 평균의 실제 차이에 대해 추정하라. 조립 시간은 근사적으로 정규 분포를 따르고, 조립 시간의 분산은 근사적으로 같고, 표본은 서로 독립적이라고 가정하자.
|
풀이.
위 표로부터 표본 평균과 표본 분산을 계산하여 보면,
| \bar{y_1}=35.22 | \bar{y_2}=31.56 |
| \displaystyle\sum^{9}_{i=1}(y_{1i}-\bar{y_1})^2=195.56 | \displaystyle\sum^{9}_{i=1}(y_{2i}-\bar{y_2})^2=160.22 |
| s^2_1 = 24.445 | s^2_2 = 20.027 |
따라서
s^2_p = \dfrac{8(24.445)+8(20.027)}{9+9-2}=\dfrac{195.56+160.22}{16}=22.236 그리고 s_p = 4.716
n_1=n_2=9 이기 때문에, s^2_p 는 단순히 s^2_1 과 s^2_2 의 평균이다. 또한 자유도 (n_1+n_2-2)=16 로 t_{0.025}=2.120 이다. 따라서 관측된 신뢰구간은,
(\bar{y_1}-\bar{y_2}) \pm t_{\alpha/2}s_p\sqrt{\dfrac{1}{n_1} + \dfrac{1}{n_2}}(35.22-31.56) \pm (2.120)(4.716)\sqrt{\dfrac{1}{9}+\dfrac{1}{9}}
3.66 \pm 4.71
이다. 이 신뢰구간은 [ -1.05, 8.37 ] 로 표현할 수 있다. 해당 구간은 상당히 넓고, 양수와 음수가 모두 포함된다. 만약 \mu_1-\mu_2 가 양수이면, \mu_1 > \mu_2 로 표준 절차가 새로운 방식보다 더 큰 기대 조립시간을 갖고, \mu_1-\mu_2 이 음수이면 반대가 된다. 해당 구간이 모두 양수와 음수를 포함하고 있으므로, 어떤 절차가 서로 차이가 있다고 할 수 없다.
분산을 모르는 정규 분포의 평균에 대한 소(小) 표본 신뢰구간 정리
|
표본 크기가 커 짐에 따라, t 분포의 자유도는 커진다. 그리고 t분포는 근사적으로 상당히 표준 정규분포와 가까워진다. 결과적으로, 소(小) 표본 신뢰구간은 추정-6번째 포스트의 다(多) 표본 신뢰구간과 구분하기 어려워질 정도로 차이가 없어진다. 해당 구간들은 자유도가 30을 넘어서면서 거의 동등해 진다.
단일 평균과 두 평균의 차이에 대한 신뢰구간은 정규 분포를 따르는 모집단으로부터 개발되었다. 모집단으로 추출된 표본들이 개략적으로 불룩한 언덕 모양의 분포를 가진다면, 지정된 신뢰계수를 유지하는 신뢰구간을 유지한다는 상당한 양의 실험적인 증거들이 있다. 만약 n_1 \approx n_2 라면, \mu_1 - \mu_2 에 대한 신뢰구간은 모집단 분산이 개략적으로 동등한 경우에 신뢰계수를 유지한다. 독립적인 표본들은 두 모집단 평균의 비교에 있어서 가장 중요한 (중대한) 가정이다.