가설검정과 신뢰구간의 재현성

Abstract

p-값은 관측 표본과 관측 결과보다 심하게 대안가설의 방향으로 영가설을 이탈하는 표본들이 영가설 하에서 갖는 확률이다. p-값이 일정 (= 0:05)보다 작게 나타나면 연구자는 대안가설이 지지된 것으로 본다. 그런 경우라고 하더라도 그의 가설이 향후 연구에서 번복될 수 있는데 그 이유는 p-값이 표본에 따라 변동하는 통계량이기 때문이다. Boos와 Stefanski (2011)는 붓스트랩 방법으로 p-값의 예측분포를 구할 수 있음을 보였다. 그들은 그 분포의 상위10-20% 분위수가 보다 작은가를 확인할 필요가 있음을 강조한다. 만약 그렇지 않은 경우에는 “지지”된 가설의 재현성이 문제될 수 있기 때문이다. 가설검정에서 일정 수준의 재현율을 확보하기 위해서는 표본의 증대가 요구된다. 이 연구는 k배 확대 붓스트랩 표본추출(boosted bootstrap sampling)로써 필요한 표본크기를 계산할 수 있음을 두표본의 비교와 다중선형회귀의 수치 예에서 보인다. k 값을 정하기 위해서는 몇 차례 시행착오를 해야 하지만 계산적 부담은 크지 않다. 95% 신뢰구간은 독립적인 표본들로부터 같은 방식으로 산출되는 구간이 미지의 모수를 포함할 확률이 95%가 되도록 설정된다. 이 연구는 한 관측표본으로부터 얻어진 95% 신뢰구간 내 개별 점이 미래 연구의 신뢰구간에도 포함될 것인지 그 재현성을 붓스트랩 재표본들에서 평가한다. 이 연구는 개별 점에서 산출한 신뢰구간 재현율을 그래프로 보인다.