네트워크 보안 환경에서는 다양한 장치와 시스템이 각자의 역할을 수행합니다. 그중에서도 패킷 콘텐츠를 검사해 특정 키워드나 패턴을 식별하는 기능은 침입 탐지 시스템(IDS), 침입 방지 시스템(IPS), 차세대 방화벽(NGFW)과 같은 장비에서 핵심적으로 활용됩니다. 이 글에서는 네트워크 보안의 주요 유형, 방화벽의 종류와 작동 원리, NIDS와 HIDS의 차이 등 핵심 내용을 정리합니다.
네트워크 보안의 주요 유형
네트워크 보안은 단일 기술이 아니라 여러 보안 대책의 조합입니다. 대표적인 구성 요소는 다음과 같습니다.
- 접근 통제(Access Control): 인가되지 않은 사용자의 네트워크 접근을 차단합니다.
- 백신·안티멀웨어 소프트웨어: 알려진 시그니처와 휴리스틱 분석으로 악성코드 감염을 막습니다.
- 애플리케이션 보안: 애플리케이션 자체의 취약점을 점검하고 보완합니다.
- 행위 분석(Behavioral Analytics): 비정상적인 행동 패턴을 학습해 위협을 조기에 탐지합니다.
- 데이터 손실 방지(DLP): 민감한 데이터의 유출을 방지합니다.
- DDoS 방지: 분산 서비스 거부 공격으로부터 서비스 가용성을 지킵니다.
- 이메일 보안: 피싱, 스팸, 악성 첨부파일을 걸러냅니다.
- 방화벽과 VPN 암호화: 트래픽을 필터링하고 통신 경로를 보호합니다.
이 외에도 엔드포인트 보안, 웹 보안, 무선 보안, IT 보안 정책, 취약점 패치 관리, 엔드포인트 탐지·대응(EDR), IDS/IPS, 네트워크 세그먼테이션 등이 넓은 의미의 네트워크 보안에 포함됩니다.
방화벽의 종류와 작동 원리
방화벽이란?
방화벽(firewall)은 네트워크로 들어오고 나가는 트래픽을 모니터링·제어하면서, 미리 정의된 보안 규칙에 따라 특정 트래픽을 허용하거나 차단하는 보안 장치입니다. 약 25년 전 네트워크 보안의 '첫 번째 방어선'으로 도입된 이후 하드웨어형과 소프트웨어형 등 다양한 형태로 발전해 왔습니다.
방화벽의 3가지 기본 유형
기업이 데이터와 장치를 보호하기 위해 사용하는 대표적인 방화벽은 세 가지입니다.
- 패킷 필터(Packet Filter): 패킷의 출발지·목적지 IP와 포트 정보를 기준으로 개별 패킷을 허용하거나 차단합니다.
- 상태 기반 검사(Stateful Inspection): 연결의 상태를 추적하면서 트래픽을 판단하는 방식입니다.
- 프록시 서버 방화벽(Proxy Firewall): 내부 네트워크와 외부 사이에서 대리 통신을 수행하며 애플리케이션 수준에서 트래픽을 검사합니다.
OSI 계층별 방화벽: L3와 L4
레이어 3(L3) 방화벽은 TCP/IP 스택을 기반으로 트래픽을 필터링합니다. 출발지와 진입 포트에 따라 개별 네트워크 패킷을 허용·차단하기 때문에 '패킷 필터링'이라고도 부릅니다.
레이어 4(L4) 방화벽은 '세션 필터링 방화벽'이라고도 하며, L3 방화벽의 기능에 더해 네트워크 연결을 능동적으로 추적하고 세션 상태에 따라 트래픽을 허용하거나 차단할 수 있습니다.
다양한 방화벽 분류
분류 기준에 따라 방화벽은 다음과 같이 나눌 수 있습니다.
- 패킷 필터링 방화벽
- 회선 수준 게이트웨이(Circuit-Level Gateway)
- 애플리케이션 수준 게이트웨이(프록시 방화벽)
- 상태 기반 검사 방화벽
- NAT(Network Address Translation) 방화벽
- 웹 애플리케이션 방화벽(WAF)
- 차세대 방화벽(NGFW)
방화벽이 탑재된 대표적인 장비
가정과 기업에서 많이 쓰이는 하드웨어 방화벽 제품으로는 Bitdefender BOX, CUJO AI 스마트 인터넷 보안 솔루션, Firewalla, Fortinet의 FortiGate 차세대 방화벽, Protectli, SonicWall TZ400·SOHO, Ubiquiti의 UniFi Security Gateway 등이 있습니다.
방화벽은 물리적 장치인가?
방화벽은 소프트웨어일 수도 있고 물리적 장치일 수도 있습니다. 하드웨어 방화벽(물리 방화벽)은 서버와 비슷한 형태의 장치로 네트워크 트래픽을 필터링합니다. 일반적으로 네트워크 케이블을 서버에 직접 연결하는 대신, 컴퓨터와 업링크 사이에 방화벽을 배치하는 방식으로 구성합니다.
침입 탐지 시스템(IDS): NIDS와 HIDS
NIDS와 HIDS의 차이
HIDS(호스트 기반 침입 탐지 시스템)는 개별 호스트에서 실행되는 애플리케이션, 접근되는 파일, 커널 로그 파일에 저장된 정보와 같은 호스트 기반 활동을 분석합니다.
NIDS(네트워크 기반 침입 탐지 시스템)는 컴퓨터 간에 오가는 정보 흐름, 즉 네트워크 트래픽을 모니터링하며, 주된 임무는 네트워크상의 의심스러운 활동을 탐지하는 것입니다.
HIDS의 실제 사용 예
서버에서 실행되는 HIDS는 의심스러운 행위의 징후를 감시하고 적절한 조치를 취합니다. 예를 들어 시스템 레지스트리 변경, 반복적인 로그인 시도, 백도어 설치 시도 등을 탐지할 수 있습니다. 호스트에 설치된 IDS 소프트웨어는 보통 시스템 객체, 프로세스, 메모리 영역을 감시합니다.
HIDS와 백신 프로그램의 차이
백신 프로그램은 알려진 시그니처, 멀웨어 휴리스틱 등을 활용해 악성코드가 설치되는 것 자체를 막는 데 초점을 둡니다. 반면 HIDS는 로그, 디렉터리 파일, 레지스트리 키를 모니터링하여 서버에 변화가 생기면 관리자와 SIEM에 알립니다.
호스트 기반 IPS와 네트워크 기반 IPS
호스트 기반 IPS는 해당 머신의 하드 드라이브에서 수집한 데이터를 검사해 시스템을 모니터링합니다. 네트워크 기반 IPS는 네트워크를 통해 흐르는 트래픽을 분석해 위협을 탐지합니다. 두 방식은 각각 장단점이 있으며, 함께 운영하면 더욱 견고한 방어 체계를 만들 수 있습니다.
HIDS의 용도 정리
NIDS와 달리 HIDS는 컴퓨팅 시스템의 내부 상태를 모니터링·분석·보고하고, 네트워크 인터페이스의 트래픽까지 함께 감시할 수 있습니다.
보안 위협의 4가지 유형
위협은 크게 직접적(direct) 위협, 간접적(indirect) 위협, 은폐된(veiled) 위협, 조건부(conditional) 위협 네 가지로 나뉩니다. 직접적 위협은 구체적인 대상을 명확히 지정하며, 전달 방식 또한 노골적이고 분명한 특징을 보입니다.
마무리
패킷 콘텐츠에서 키워드를 식별하는 기능은 IDS, IPS, NGFW처럼 콘텐츠 검사를 수행하는 보안 장비의 핵심입니다. 방화벽, 침입 탐지·방지 시스템, 백신 등 각 장치의 역할과 차이를 정확히 이해하면, 조직의 환경에 맞는 다층 방어 전략을 세우는 데 큰 도움이 됩니다.