한국어 신문에서의 어휘 변이형 탐지 - 동아일보 말뭉치(1920-2019)의 다중 척도 분석 -

초록

언어는 시간에 따라 지속적으로 변화하며, 동일한 의미를 가진 단어들이 서로 다른형태로 공존하다가 점차 한 형태로 수렴하는 과정을 보인다. 이러한 어휘 변이형(lexical variation)을 정확히 탐지하는 것은 문헌 연구와 자연어처리 시스템의 성능 향상을 위해 매우 중요하다. 본 연구는 1920년부터 2019년까지 100년간의 동아일보 말뭉치(4억 5천만 어절)를 대상으로 어휘 변이형을 탐지하는 다중 척도 기반 방법론을제안한다. 제안하는 방법은 형태적 유사도, 의미적 유사도, 시간적 빈도 패턴을 조화평균으로 통합하여 변이형을 탐지한다. 형태적 유사도는 한글 음절을 자소 단위로 분해한 후 레벤슈타인 거리를 기반으로 한다. 의미적 유사도는 공기어 벡터 간의 코사인유사도를 사용하며, 시간적 빈도 패턴은 두 단어의 연도별 빈도 간 피어슨 상관계수를계산하여 음적 상관관계를 측정한다. 실험 결과, 한글 단어에서 약 13,694개의 변이형쌍을, 한자 단어에서 약 925개의 변이형 쌍을 탐지하였다. 탐지된 변이형들을 분석한결과, 한글 변이형의 경우 외래어의 한글 음차표기 변화, 고유어의 맞춤법 정비 전후의 표기 차이, 사이시옷 현상, 두음법칙 등 다양한 언어학적 현상이 관찰되었다. 한자변이형의 경우 형태가 유사한 한자가 혼용되는 경우가 대부분이었으며, 이체자 관계, OCR 오인식, 동일한 한글 독음을 가진 한자 간의 교체 등이 주요 원인으로 확인되었다. 본 연구는 장기 데이터를 활용한 어휘 변이형 탐지의 가능성을 보여주었으며, 언어 변화 연구와 자연어처리 분야에 유용한 기초 자료를 제공할 것으로 기대한다

키워드