언어모델은 언어표현을 유연하게 처리하는가? - 재난문자를 활용한 평가 -

초록

이 연구는 사람이 비적형 문장(non-fully well-formed sentence)을 처리할 때 보이는 유연성(flexibility)을 언어모델에서도 관찰할 수 있는지를 분석하였다. 언어모델이 사람과 같은 수준의 언어 능력을 갖추었는지 평가하기 위해서는 비적형 문장과 같이 유연성을 요구하는 벤치마크의 도입이 필요하다. 이를 위해, 재난문자를 기반으로 적형문과 비적형문 쌍으로 구성된 542개의 데이터세트를 구축하였다. 언어모델의 평가 방식은 이해와 생성의 두 가지 방식으로 진행되었으며, 각각의 과업에 특화된 언어모델을 선정하였다. 이해 실험은 5종의 인코더 기반 언어모델(KLUE-RoBERTa, KoBERT, KR-BERT, mBERT, KoELECTRA)에 자연어 추론(Natural Language Inference) 과업을 적용하였다. 생성 실험은 디코더 기반 언어모델(ChatGPT-4)이 생성한 전보문에 대해 설문조사를 진행하였다. 실험 결과, 인코더 기반 언어모델은 비적형 문장을 처리하는 과정에서 일관되지 않은 결과를 나타냈고 디코더 기반 언어모델이 작성한 전보문은 사람이 작성한 전보문과 큰 차이를 보이지 않았다.

키워드