호스트 기반 침입 방지 시스템(HIPS)이란?
호스트 기반 침입 방지 시스템(HIPS, Host Intrusion Prevention System)은 중요 데이터를 포함한 핵심 컴퓨터 시스템을 바이러스와 각종 인터넷 악성코드로부터 보호하기 위해 사용되는 보안 솔루션입니다. 네트워크 계층부터 애플리케이션 계층까지 전 영역을 아우르며, 이미 알려진 공격은 물론 아직 패턴화되지 않은 미지의 악성 공격까지 방어할 수 있다는 점이 가장 큰 특징입니다.
HIPS의 작동 방식
HIPS는 단일 호스트의 특성과 호스트 내부에서 발생하는 다양한 이벤트를 지속적으로 점검하며 의심스러운 활동을 감시합니다. 서버, 워크스테이션, 일반 PC 등 다양한 유형의 머신에 설치해 운영할 수 있습니다.
호스트 기반 IPS란 침입 방지 소프트웨어가 특정 IP 주소, 즉 대개 한 대의 컴퓨터에 상주하는 형태를 말합니다. HIPS는 기존의 지문(fingerprint) 기반 및 휴리스틱(heuristic) 백신 탐지 방식을 보완하는 역할을 하며, 새로운 악성코드에 대응하기 위해 지속적인 업데이트가 필요하지 않다는 장점이 있습니다.
HIPS의 단점과 시스템 리소스 문제
방화벽, 시스템 수준의 동작 제어, 샌드박싱(sandboxing)을 하나의 통합 탐지망으로 묶고 그 위에 기존 백신 제품까지 더하는 구조이기 때문에, 기존 HIPS는 시스템 자원을 많이 소모한다는 단점이 있습니다.
카페나 공항 Wi-Fi처럼 신뢰할 수 없는 환경에서 자주 사용되는 노트북이라면 이러한 강력한 다중 방어가 합리적일 수 있습니다. 하지만 무거운 방어 체계는 배터리 수명에 부담을 주고, HIPS 보안 요소와 기존 백신이 PC의 모든 파일을 거대한 블랙리스트와 대조하며 검사하기 때문에 시스템 전반의 반응 속도가 눈에 띄게 저하될 수 있습니다.
화이트리스트 기반 HIPS의 장점
반면 화이트리스트(whitelisting) 기술을 활용하는 백신 제품과 HIPS를 결합하면 상황이 달라집니다. PC의 일부 애플리케이션이 신뢰 대상(화이트리스트 등록)으로 분류되기 때문에 필요한 시스템 자원이 크게 줄어듭니다. 이 경우 HIPS는 기존 백신 제품을 대체할 수 있는 실질적인 선택지가 됩니다.
침입 탐지를 위한 데이터베이스 구축
HIPS가 침입을 인식하려면 감시 대상인 시스템 객체(object)들의 데이터베이스가 필요합니다. 시스템 호출(system call), 소프트웨어 로그, 파일 시스템 변경 사항(바이너리, 비밀번호 파일, 권한(capability) 데이터베이스, 접근 제어 목록 등)을 분석하는 방식입니다.
대상 객체마다 HIPS는 해당 객체의 속성을 학습하고 내용에 대한 체크섬(checksum)을 생성합니다. 이 정보는 안전한 데이터베이스에 저장된 후, 이후 비교 검증에 활용됩니다.
아울러 시스템은 메모리의 적절한 영역이 변경되지 않았는지도 확인합니다. 흔히 바이러스 패턴 없이도 악성 소프트웨어를 탐지할 수 있으며, 대신 신뢰할 수 있는 프로그램 목록을 유지합니다. 자신에게 부여된 권한을 벗어난 프로그램은 승인되지 않은 동작을 수행하지 못하도록 차단됩니다.
HIPS의 주요 장점
HIPS의 가장 큰 장점은 기업 사용자든 가정용 사용자든 미지의 악성 공격으로부터 더욱 강력한 보호를 받을 수 있다는 것입니다. HIPS는 독특한 예방 메커니즘을 사용하기 때문에 기존 보안 조치에 비해 이러한 공격을 차단할 가능성이 훨씬 높습니다.
또한 백신, 안티스파이웨어, 방화벽 등 여러 보안 프로그램을 각각 설치하고 관리해야 하는 부담이 크게 줄어든다는 점도 큰 이점입니다. 하나의 HIPS만으로 다층적인 보안 체계를 확보할 수 있기 때문입니다.