RBM을 이용한 언어의 분산 표상화

Abstract

연결주의 모델은 계산주의적 관점에서 언어 처리를 연구하는 한 가지 접근법이다. 그리고 연결주의 모델 연구를 진행하는데 있어서 표상(representation)을 구축하는 것은, 모델의 학습 수준 및 수행 능력을 결정한다는 점에서 모델의 구조를 만드는 것만큼이나 중요한 일이다. 연결주의 모델은 크게 지역 표상(localist representation)과 분산 표상(distributed representation)이라는 두 가지 서로 다른 방식으로 표상을 구축해 왔다. 하지만 종래 연구들에서 사용된 지역 표상은 드문 목표 활성화 값을 갖고 있는 출력층의 유닛이 불활성화하는 제한점을, 그리고 과거의 분산 표상은 표상된 정보의 불투명성에 의한 결과 확인의 어려움이라는 제한점을 갖고 있었으며 이는 연결주의 모델 연구 전반의 제한점이 되어 왔다. 본 연구는 이와 같은 과거의 표상 구축의 제한점에 대하여, 제한된 볼츠만 머신(restricted Boltzmann machine)이 갖고 있는 특징인 정보의 추상화를 활용하여 지역 표상을 가지고 분산 표상을 유도하는 새로운 방안을 제시하였다. 결과적으로 본 연구가 제안한 방법은 정보의 압축과 분산 표상을 지역 표상으로 역변환하는 방안을 활용하여 종래의 표상 구축 방법이 갖고 있는 문제를 효과적으로 해결함을 보였다.