연속된 수화 인식을 위한 자동화된 수화 및 지화 적출

Abstract

수화는 언어적 구조와 규칙을 가지며 손의 움직임, 모양 정보로 구별되며, 지화는 다양한 형태의 문자를 나타내며 손의 형태 정보로 구별된다. 수화언어 인식은 수화 문장에서 의미 있는 수화, 지화, 그리고 그 이외의 손 동작 및 손 모양을 검출 및 인식하는 것이다. 수화와 지화의 구조는 상당히 다르기 때문에, 수화와 지화를 동시에 인식 및 검출하는 것은 어려운 문제이다. 본 논문에서는 3단계의 계층적 구조로 구성된 수화 및 지화 검출 방법을 제안한다. 첫 번째 단계에서는 2계층 CRF(Conditional Random Field)를 이용하여 수화, 지화, 그리고 그 이외의 손 동작을 구별한다. 두 번째 단계에서는 BoostMap 임베딩을 이용하여 수화 및 지화의 손 모양을 인식한다. 마지막 단계에서는 CRF를 이용하여 손 모양은 비슷하지만 움직임이 다른 지화를 구별한다. 제안된 방법은 청각장애인이 수행한 수화 문장에서 83%의 수화 인식률과 78%의 지화 인식률을 보였다.