메모리 분석 우회 기법과 커널 변조 탐지 연구

Abstract

커널을 변조하는 루트킷과 같은 악성코드가 만약 메모리 분석을 회피하기 위한 메커니즘을 추가하게 될 경우, 분석이 어려워지거나 불가능하게 되면서 분석가의 판단에 악영향을 미칠 수 있다. 따라서 향후 고도화된 커널 변조를 통해 탐지를 우회하는 루트킷과 같은 악성코드에 선제적으로 대응하고자 한다. 이를 위해 공격자의 관점에서 윈도우 커널에서 사용되는 주요 구조체를 분석하고, 커널 객체를 변조할 수 있는 방법을 적용하여 메모리 덤프 파일에 변조를 진행하였다. 변조 결과 널리 사용되는 메모리 분석 도구에서 탐지가 되지 않는 것을 실험을 통해 확인하였다. 이후 분석가의 관점에서 변조 저항성의 개념을 사용하여 변조를 탐지할 수 있는 소프트웨어 형태로 만들어 기존 메모리 분석 도구에서 탐지되지 않는 영역에 대해 탐지 가능함을 보인다. 본 연구를 통해 선제적으로 커널 영역에 대해 변조를 시도하고 정밀 분석이 가능하도록 인사이트를 도출하였다는 데 의의가 있다 판단된다. 하지만 정밀 분석을 위한 소프트웨어 구현에 있어 필요한 탐지 규칙을 수동으로 생성해야 한다는 한계점이 존재한다.