텍스트 트랜스포머 모델에서 어텐션 맵을 이용한 경사도 기반 화이트 박스 적대적 예제 생성 방안

Abstract

트랜스포머 모델의 텍스트 데이터에 대한 적대적 예제 생성 방법은 텍스트 데이터의 이산적인 특징 때문에 블랙박스 공격 방법이 대부분이었다. 최근 트랜스포머 모델의 텍스트 데이터를 대상으로 한 경사도 기반 화이트박스 공격 방법이 발표되었는데 이는 하나의 예제 생성 마다 하나의 분포를 학습시키기 때문에 시간이 오래 걸려 효율적이지 못하다는 단점이 있다. 본 논문은 트랜스포머 모델의 어텐션 구조를 이용한 어텐션 제약조건을 제안하여 기존 화이트 박스 공격방법의 효율성을 높인다. 실험을 통해 기존의 연구결과보다 생성 시간을 6.5% 가량 단축시킬 수 있으며 생성되는 적대적 예제의 생성률을 2.4% 높일 수 있음을 입증하였다.