침입 방지 시스템(Intrusion Prevention System, IPS)은 네트워크와 시스템을 해킹, 웜, DoS 공격 같은 위협으로부터 사전에 보호하는 핵심 보안 기술입니다. IPS는 구현 위치와 탐지 방식에 따라 여러 유형으로 나뉘며, 각 유형마다 장단점이 뚜렷합니다. 지금부터 대표적인 IPS의 종류와 특징을 하나씩 살펴보겠습니다.
1. 호스트 기반 IPS(HIPS)
호스트 기반 IPS(Host-based IPS)는 특정 IP 주소, 즉 단일 장치에 직접 설치되어 해당 호스트를 보호하는 방식입니다. HIPS는 전통적인 서명(fingerprint) 기반 및 휴리스틱 백신 탐지 방식을 보완하는 역할을 하며, 새로운 악성코드에 대응하기 위해 지속적인 업데이트가 필요 없다는 점이 큰 장점입니다.
다만 최근의 HIPS는 방화벽, 시스템 수준의 동작 제어, 샌드박싱(sandboxing)을 하나의 통합 보호망으로 묶고, 그 위에 기존 백신 제품까지 함께 운영하는 구조이기 때문에 시스템 자원을 상당히 많이 소모한다는 단점이 있습니다.
이런 광범위한 보호 체계는 카페나 공항 Wi-Fi처럼 신뢰할 수 없는 네트워크 환경에서 자주 사용하는 노트북에는 적합할 수 있습니다. 그러나 강력한 방어 기능만큼 배터리 수명에 부담을 주며, HIPS 보호 모듈과 기존 백신이 PC의 모든 파일을 대규모 블랙리스트와 대조하며 검사하기 때문에 컴퓨터 전반의 반응 속도가 눈에 띄게 느려질 수 있습니다.
반면 HIPS를 화이트리스트 기술을 활용하는 백신 제품과 결합하면 이야기가 달라집니다. 일부 응용 프로그램이 신뢰(화이트리스트)된 것으로 간주되어 검사 부담이 줄어들고, 필요한 시스템 자원도 크게 감소합니다. 이 경우 HIPS는 기존 백신 제품의 실질적인 대안이 될 수 있습니다.
2. 네트워크 기반 IPS(NIPS)
네트워크 기반 IPS(Network-based IPS)는 네트워크상에서 여러 IP 주소를 가진 호스트에서 IPS 응용 프로그램이 실행되며, 특정 네트워크 호스트에 대한 침입 방지 조치를 수행하는 방식입니다.
NIPS는 보안 관련 이벤트를 분석하고, 식별하고, 기록하기 위해 특수 목적으로 제작된 하드웨어·소프트웨어 플랫폼입니다. 네트워크 트래픽을 실시간으로 검사하도록 설계되었으며, 사전에 설정된 구성이나 보안 정책에 따라 악성 트래픽을 즉시 차단(drop)할 수 있습니다.
3. 콘텐츠 기반 IPS(CBIPS)
콘텐츠 기반 IPS(Content-based IPS)는 네트워크 패킷의 내용을 검사하여 '시그니처(signature)'라 불리는 특정 패턴을 찾아냅니다. 이를 통해 웜 감염, 해킹 시도 등 이미 알려진 유형의 공격을 식별하고 차단할 수 있습니다.
4. 프로토콜 분석
IDS/IPS 기술 발전의 중요한 전환점 중 하나는 프로토콜 분석기(protocol analyzer)의 도입이었습니다. 프로토콜 분석기는 HTTP나 FTP 같은 응용 계층(application-layer) 네트워크 프로토콜을 기본적으로 디코딩할 수 있습니다.
프로토콜이 완전히 디코딩되면 IPS 분석 엔진은 해당 프로토콜의 다양한 요소를 면밀히 검토하여 비정상적인 동작이나 익스플로잇(exploit) 시도를 탐지해낼 수 있습니다.
5. 비율 기반 IPS(RBIPS)
비율 기반 IPS(Rate-based IPS)는 DoS(Denial of Service) 및 DDoS(Distributed Denial of Service) 공격을 방지하는 데 특화된 유형입니다. RBIPS는 정상적인 네트워크 동작을 지속적으로 모니터링하고 학습하는 방식으로 작동합니다.
이를 통해 TCP, UDP, ARP 패킷과 같은 특정 유형의 트래픽, 초당 연결 수, 연결당 패킷 수, 특정 포트로 향하는 패킷 수 등에서 비정상적으로 급증하는 비율(rate)을 인식하고, 이상 징후를 조기에 차단할 수 있습니다.
마무리: 어떤 IPS를 선택해야 할까?
IPS 유형은 보호 대상과 운영 환경에 따라 선택 기준이 달라집니다. 개별 서버나 단말 보호에는 HIPS, 네트워크 전체 트래픽 방어에는 NIPS, 알려진 공격 패턴 차단에는 CBIPS, DDoS 대응에는 RBIPS가 적합합니다. 실제 기업 환경에서는 이러한 유형들을 조합하여 다층 방어(Layered Defense) 체계를 구축하는 것이 일반적이며, 이를 통해 더욱 견고한 보안 환경을 만들 수 있습니다.