침입 방지 시스템(Intrusion Prevention System, IPS)은 네트워크와 시스템 활동을 지속적으로 감시하여 악성 코드나 원치 않는 동작을 실시간으로 탐지하고, 이를 차단하거나 회피할 수 있도록 대응하는 네트워크 보안 장비입니다.
네트워크 기반 IPS의 작동 방식
네트워크 기반 IPS는 인라인(in-line) 방식으로 모든 네트워크 트래픽을 검사하며, 악성 프로그램이나 공격 시도를 식별합니다. 공격이 탐지되면 해당 패킷만 폐기하고 나머지 정상 트래픽은 그대로 통과시키는 방식으로 작동합니다. 침입 방지 기술은 일부 전문가들에 의해 침입 탐지 시스템(IDS) 기술의 발전된 형태로 간주되고 있습니다.
IPS의 등장 배경과 발전 과정
침입 방지 시스템은 1990년대 후반, 수동적인 네트워크 모니터링의 모호함을 해결하기 위해 탐지 시스템을 인라인에 배치하는 방식으로 등장했습니다. 초기 IPS는 방화벽에 차단 명령을 내리거나 라우터의 접근 제어 설정을 변경할 수 있는 IDS 형태였습니다. 그러나 이 방식은 IDS와 공격 코드가 제어 메커니즘을 통과하는 사이에 경쟁 상태(race condition)가 발생하여 운영상 한계를 드러냈습니다.
인라인 IPS는 방화벽 기술의 발전된 형태로 볼 수 있습니다. 기존 방화벽이 IP 주소나 포트 번호를 기준으로 접근을 제어했다면, IPS는 애플리케이션 콘텐츠 자체를 분석하여 접근 제어 결정을 내립니다. 또한 대부분의 IPS는 시그니처 구조에 목적지 포트를 활용해 분류 매핑의 성능과 효율성을 향상시킵니다. IPS가 초기에는 IDS의 문자 그대로의 확장 형태였던 만큼, 두 기술은 여전히 밀접하게 연관되어 있습니다.
네트워크 기반 IPS와 호스트 기반 IPS
침입 방지 시스템은 네트워크 수준뿐만 아니라 호스트 수준에서도 잠재적으로 악성인 이벤트를 차단하는 보조 역할을 수행할 수 있습니다. 호스트 기반 IPS는 네트워크 기반 IPS와 비교했을 때 각각 고유한 장단점을 가지며, 경우에 따라 두 기술은 서로를 보완하는 관계로 함께 운영됩니다.
오탐(False Positive) 최소화와 미지 공격 대응
효과적인 IPS는 우수한 침입 탐지 능력을 바탕으로 낮은 오탐률을 유지해야 합니다. 오탐이 많으면 정상 트래픽까지 차단되어 업무에 지장을 줄 수 있기 때문입니다. 일부 IPS 솔루션은 아직 발견되지 않은 공격까지 선제적으로 차단할 수 있는데, 대표적으로 버퍼 오버플로우(Buffer Overflow)로 인한 공격이 이에 해당합니다.
방화벽 및 접근 제어와의 차이점
IPS의 역할은 접근 제어(Access Control)나 애플리케이션 계층 방화벽과 혼동되곤 하지만, 이들 기술 사이에는 중요한 차이점이 존재합니다. 세 기술 모두 유사한 면모를 공유하지만, 네트워크와 시스템 보안에 접근하는 방식은 근본적으로 다릅니다.
IPS는 일반적으로 네트워크 위에서 완전히 투명하게, 즉 눈에 보이지 않게 작동하도록 설계됩니다. IPS 제품은 보호 대상 네트워크에서 IP 주소를 점유하지 않지만, 다양한 방식으로 트래픽에 직접 대응할 수 있습니다. 대표적인 IPS 대응 방식은 다음과 같습니다.
- 악성 패킷 폐기(Dropping Packets)
- 연결 재설정(Resetting Connections)
- 관리자에게 경고 발생(Making Alerts)
- 침입자 격리(Quarantining Intruders)
일부 IPS 제품은 방화벽 규칙을 적용하는 기능도 제공하지만, 이는 편의를 위한 부가 기능일 뿐 제품의 핵심 서비스는 아닙니다.
IPS가 제공하는 깊이 있는 인사이트
또한 IPS 기술은 단순한 차단을 넘어 네트워크 운영에 대한 깊이 있는 insight를 제공합니다. 과도하게 활동 중인 호스트, 실패한 로그인 시도, 부적절한 콘텐츠 등의 데이터를 지원하며, 그 외에도 다양한 네트워크 및 애플리케이션 계층 기능을 통해 보안 관리자의 의사결정을 돕습니다.