네트워크 보안에서 ESP란 무엇인가?
ESP(Encapsulating Security Payload, 캡슐화 보안 페이로드)는 IPsec(Internet Protocol Security) 아키텍처를 구성하는 두 가지 핵심 프로토콜 중 하나입니다. 국제 인터넷 표준화 기구인 IETF(Internet Engineering Task Force)는 IP 패킷을 안전하게 보호하기 위해 인증 헤더(AH, Authentication Header)와 ESP라는 두 가지 프로토콜을 정의했습니다.
ESP는 단순히 인증만 제공하는 AH와 달리, 데이터 암호화(기밀성)와 인증(무결성, 발신지 인증, 재전송 공격 방지)을 동시에 지원한다는 점이 가장 큰 특징입니다.
ESP의 핵심 역할
ESP는 IP 패킷에 다음과 같은 보안 서비스를 제공합니다.
- 기밀성: 페이로드를 암호화하여 제3자가 내용을 엿보지 못하도록 합니다.
- 무결성: 데이터가 전송 중에 위변조되지 않았음을 보장합니다.
- 발신지 인증: 데이터가 신뢰할 수 있는 출처에서 왔음을 확인합니다.
- 재전송 방지: 공격자가 가로챈 패킷을 다시 전송하는 재전송 공격을 차단합니다.
이처럼 ESP는 패킷을 인증하는 것뿐만 아니라 암호화까지 수행하므로, 다층적인 보안 계층을 형성해 잠재적인 공격으로부터 패킷 내용을 보호합니다.
AH와 ESP의 차이점
AH(Authentication Header)는 오직 인증만 가능한 프로토콜입니다. 반면 ESP는 필요에 따라 기밀성과 인증 중 하나 또는 둘 모두를 선택적으로 사용할 수 있습니다.
두 프로토콜의 가장 큰 차이는 인증 범위에 있습니다. AH는 외부 IP 헤더를 포함한 전체 IP 패킷을 인증하는 반면, ESP는 IP 데이터그램 부분만 인증합니다. 따라서 IP 헤더 자체의 보호가 필요하다면 AH를, 데이터 내용의 기밀성이 중요하다면 ESP를 선택하는 것이 일반적입니다.
ESP에서 사용하는 암호화 알고리즘
ESP는 AES-CCM과 AES-GCM 같은 결합 알고리즘(combined algorithm)을 지원합니다. 이 알고리즘들은 암호화와 인증을 한 번에 처리하기 때문에, 별도의 인증 알고리즘을 선택할 수 없습니다.
또한 ESP는 GMAC(Galois Message Authentication Code)이라는 인증 방식도 사용할 수 있습니다. 다만 GMAC은 인증만 수행할 뿐 암호화는 제공하지 않는다는 점에 유의해야 합니다.
ESP 헤더와 트레일러 구조
ESP 패킷은 헤더, 페이로드, 트레일러로 구성되며, 암호화 범위가 구역마다 다르다는 점이 특징입니다.
- 암호화되는 영역: 페이로드(TCP/UDP 메시지 또는 캡슐화된 IP 데이터그램)와 ESP 트레일러
- 암호화되지 않는 영역: ESP 헤더
ESP 트레일러는 패딩(padding), 패딩 길이, 다음 헤더 정보를 담고 있으며, 페이로드와 함께 암호화된 후 패킷 끝에 추가됩니다. 암호화가 완료되면 키 교환(key exchange) 과정이 진행됩니다.
IPsec의 동작 모드: 전송 모드와 터널 모드
ESP는 두 가지 동작 모드를 지원합니다.
- 전송 모드(Transport Mode): 데이터만 암호화하고 원본 IP 헤더 정보는 그대로 노출됩니다. 주로 종단 간(end-to-end) 통신에 사용됩니다.
- 터널 모드(Tunnel Mode): 전체 IP 패킷을 캡슐화하고 새로운 IP 헤더를 추가합니다. VPN 게이트웨이 간 통신에 주로 활용됩니다.
VPN에서 말하는 전송 모드란, 원본 IP 주소 정보를 그대로 두면서 데이터 부분만 암호화하는 인터넷 통신 방식을 의미합니다. ESP가 전송 모드에서 동작할 때는 데이터는 암호화되지만 IP 헤더 정보는 열람 가능한 상태로 유지됩니다.
AH와 ESP를 함께 사용할 수 있을까?
네, 가능합니다. AH와 ESP는 상호 호환되며, 설정 시 AH-ESP 변환(transform)을 사용해 조합할 수 있습니다. 일반적으로 AH는 인증이 필요한 경우에, ESP는 암호화가 필요한 경우에 사용되며, 두 프로토콜을 함께 적용하면 더 강력한 보안을 확보할 수 있습니다.
특히 ESP를 먼저 적용한 뒤 AH를 덧붙이면, 암호화된 패킷에 대해 AH가 무결성 검사를 수행할 수 있어 보안성이 한층 강화됩니다.
AH가 ESP보다 빠른 이유
AH는 암호화 작업을 수행하지 않기 때문에 ESP보다 처리 속도가 빠릅니다. 대신 AH는 패킷의 페이로드와 헤더 모두에서 해시 값을 계산하여 위변조 여부를 검증합니다.
그러나 여기에는 한 가지 문제가 있습니다. AH는 IP 헤더 전체를 인증 대상에 포함하기 때문에, NAT(Network Address Translation) 환경에서는 IP 주소가 변경되어 인증이 실패하게 됩니다. 즉, NAT 장비를 거치는 연결에서는 AH 기능이 정상적으로 동작하지 않습니다. 이런 이유로 실무에서는 NAT에 유연한 ESP가 더 널리 사용됩니다.
참고: 다른 분야에서 쓰이는 ESP
ESP라는 용어는 네트워크 보안 외의 분야에서도 사용되므로, 문맥에 따른 의미 차이를 이해하는 것이 좋습니다.
자동차의 ESP(Electronic Stability Program)
대부분의 현대 자동차에 탑재된 컴퓨터식 차체 자세 제어 시스템입니다. 차량 바닥면에서의 접지력(traction) 손실을 감지하고 줄여 타이어가 통제 없이 미끄러지는 것을 방지하는 안전 장치입니다.
집진 설비의 ESP(Electrostatic Precipitator)
전기 집진기라고도 불리며, 전기를 이용해 입자에 양전하 또는 음전하를 부여해 가스 흐름에서 입자를 분리·제거하는 장치입니다. 하전된 입자는 반대 전하를 띤 집진판에 가까워질 때 서로 끌어당겨져 포집됩니다.
마무리
정리하면, 네트워크 보안에서 ESP는 IPsec의 핵심 프로토콜로서 암호화와 인증을 모두 제공하는 강력한 보안 도구입니다. 인증만 필요하다면 가볍고 빠른 AH를, 기밀성까지 필요하다면 ESP를, 최대 보안이 필요하다면 두 프로토콜을 함께 사용하는 것이 좋습니다. 또한 운영 환경에 NAT가 포함되어 있다면 ESP 기반 구성을 우선 고려하는 것이 현명합니다.