대조 학습 기반 사전 학습과 생성 모델의 시너지 탐구

Abstract

최근 들어 비지도 학습(unsupervised learning)은 다양한 분야에서 연구되고 적용되며 많은 주목을 받고 있다. 그리고 다양한 비지도 학습 방법 중 최근 긍정적인 샘플(positive samples)과 부정적인 샘플(negative samples)간의유사성과 비 유사성을 학습하는 대조 학습(contrastive learning)을 이용한 사전 학습(pretraining) 방법이 많은 관심을 받으며 연구되고 있다. 이러한 사전 학습 방법은 컴퓨터 비전 등의 분야에서 지도 학습시 데이터의 부족이나새로운 데이터가 주어졌을 때 정확도 감소 등의 문제를 해결하기 위해 연구되고 있다. 본 논문에서는 관련 연구에서 우수한 성과를 내며 주요 핵심기술로 부상하고 있는 대조 학습 기반 사전 학습과 생성 모델(generative model) 을 결합하는 문제를 탐구한다. 보다 구체적으로, 우리는 고차원 센서 데이터 특징을 저차원 잠재 공간(latent space)에서 보다 더 효과적으로 특성화하는 저차원 잠재 공간 궤적을 생성할 수 있는 결합 절차를 제시한다. 또한스마트폰 센서를 사용하여 휴먼 모션을 다루는 실험을 수행했는데, 이 실험 결과는 대조 학습 기반 사전 학습과생성 모델의 의미있는 시너지 효과를 보여준다.