고차원 선형모형에서 벌점화우도 방법을 이용한 변수 선택방법 연구

Abstract

선형회귀모형에서 표본 크기 이 공변량의 수 보다 큰 경우 여러 가지 변수 선택방법 중 일반적으로 전진적 선택방법, 후진적 제거방법, 단계적 선택방법 등이 사용된다. 하지만, 가 에 비해 매우 큰 경우인 고차원문제를 가지는 선형모형에서는 이러한 방법들을 사용하는 데에 어려움이 있다. 이러한 변수선택의 어려운 점을 극복하기 위해 유의하지 않은 변수들을 제거하는 다양한 regularization 또는 shrinkage 방법이라고도 불리는 벌점화우도(penalized likelihood) 방법들이 고차원 선형모형에서 제안되었다. 본 논문은 고차원 선형모형에서 사용이 용이한 변수 선택방법에 대한 연구로, 여러 가지 벌점화우도 방법들에 대해 알아보고 그 응용성을 알아본다. 그 중에서 ridge, LASSO, LARS, elastic net, adaptive LASSO 등 다섯 가지 벌점화우도 방법의 특징을 간단히 살펴보고, 실제 자료인 전립선(prostate) 자료와 한국 경제 수치자료에 적용해 본다. RSS, AIC, BIC를 평가기준으로 다섯 가지 벌점화우도 방법의 실 자료 분석 결과 고차원 선형모형에서 가장 적합한 방법은 LARS 알고리즘이었다.