우선순위를 이용한 점수 표준화 방법 연구

Abstract

지휘․통제․통신 체계와 같이 보안이 요구되고, 새로운 기술을 적용하여 새롭게 개발되어야 하는 무기체계의 업체선정은 정성적 평가인 제안서평가를 주로 적용하고 있다. 제안서평가의 주요 문제는 평가자의 주관적 성향에 따라선호도가 달라 평가위원 구성과 점수 성향에 따라 우선순위가 달라지고, 기술능력평가의 변별력 저하 시 입찰 가격에 의해 업체가 선정된다는 것이다. 따라서 평가자의 주관적 성향을 보정함과 동시에 변별력을 높일 수 있는 방법이필요하다. 일반적으로 적용되는 표준화 방법은 평균과 편차를 일치시키는 방법이나, 제안서평가와 같이 평가대상이소규모이고, 평가대상별 수준이 유사한 경우 적용이 제한되었다. 이에 따라 제안서평가에 적용 가능한 새로운 표준화방법을 제시하였다. 이 방법은 평가자의 점수가 아니라 평가대상의 우선순위를 보정하는 방법으로 기존 표준화방법보다 성능이 우수하였고, 원점수를 최대한 반영함으로써 변별력을 높일 수가 있었으며 특히 평가대상수가 소규모인 경우에 더욱 성능이 우수하였다.