지식형 상황판단검사의 채점용 답(Scoring key) 결정과 채점 방식에 따른 준거관련 타당도 비교 연구

Abstract

본 연구는 상황판단검사의 채점용 답 결정 방식(SME 합의, 응답자 평균, 경험적 결정 방식)과 채점 방식(-2~2, B-W 방식)의 조합에 따라 산출된 점수의 유사성과 준거 관련 타당도가 어떠한 양상으로 나타나는지를 지식형 리더십 상황판단검사를 통해 탐색적으로 접근하여 비교하고자 하였다. 국내 A기업에서 근무하는 과장 이상의 재직자들을 대상으로 상황판단검사의 문항 개발, 채점용 답 결정 단계를 거쳐, 과장급 이상의 395명에게 검사가 실시되었다. 그 결과, 채점용 답 결정과 채점 방식 조함에 따라 산출된 점수들 중 SME × B-W의 조합이 가장 높은 준거 관련 타당도를 보이는 것으로 나타났다. 본 연구 결과로 볼 때, 상황판단검사의 채점용 답을 어떤 방식으로 결정하는가가 검사의 측정적, 예측력 측면에서 중요한 이슈임을 파악할 수 있다.