VPN(가상 사설망)은 온라인 세계에서 사용자의 개인 정보를 보호하고 실제 물리적 위치를 숨기는 데 주로 활용됩니다. 대부분의 경우 VPN은 안정적으로 작동하지만, 때로는 오류나 충돌, 다양한 연결 문제에 직면할 수 있습니다. VPN이 작동하지 않거나 연결되지 않거나 차단되었다면, 몇 가지 빠른 해결 방법을 시도해 볼 수 있습니다. VPN에서 발생할 수 있는 오류는 매우 다양하지만, 그중에서도 특히 자주 나타나는 오류 중 하나가 바로 VPN 오류 13801입니다.
Windows 10에서 발생하는 VPN 오류 13801
오류 13801은 'IKE 인증 자격 증명을 수락할 수 없습니다(IKE authentication credentials are unacceptable)'라는 메시지와 함께 나타납니다.
이 오류는 IKEv2(Internet Key Exchange version 2) 프로토콜 관련 문제로, 서버 인증 인증서와 관련이 있습니다. 기본적으로 인증에 필요한 컴퓨터 인증서가 클라이언트 PC, 서버 또는 양쪽 모두에서 유효하지 않거나 존재하지 않는 경우 발생합니다.
IKE 인증 자격 증명을 수락할 수 없는 주요 원인
오류 13801의 가능한 원인을 정리하면 다음과 같습니다.
- RAS 서버의 컴퓨터 인증서가 만료된 경우
- 클라이언트에 RAS 서버 인증서를 검증할 신뢰할 수 있는 루트 인증서가 없는 경우
- 클라이언트에 입력된 VPN 서버 이름이 서버 인증서의 주체 이름(subject name)과 일치하지 않는 경우
- RAS 서버에서 IKEv2 검증에 사용되는 컴퓨터 인증서에 '서버 인증(Server Authentication)' EKU(확장 키 용도, Enhanced Key Usage)가 포함되어 있지 않은 경우
사용자는 서버를 직접 제어할 수 없기 때문에 이 문제를 스스로 해결하기는 어렵습니다. 대부분의 경우 VPN 공급업체의 고객 지원팀에 문의하여 오류 13801을 수정해야 할 수 있습니다.
VPN 오류 13801은 VPN 서비스가 사용하는 프로토콜을 명확히 가리키므로, IKEv2가 무엇인지 파악하는 데 시간을 낭비할 필요가 없습니다. VPN 관리자가 제공하는 문서에서 올바른 IKEv2 인증서를 확인하는 것이 좋습니다. 아래 방법으로 문제를 진단할 수 있습니다.
- 인증서에 필요한 확장 키 용도(EKU) 값이 할당되어 있지 않은 경우
- RAS 서버의 컴퓨터 인증서가 만료된 경우
- 클라이언트에 해당 인증서의 신뢰할 수 있는 루트 인증서가 없는 경우
- 인증서의 주체 이름이 원격 컴퓨터와 일치하지 않는 경우
VPN 오류 13801 해결 방법
각 원인별 해결 방법을 자세히 살펴보겠습니다.
1. 인증서에 필요한 확장 키 용도(EKU) 값이 할당되었는지 확인
다음 단계에 따라 확인할 수 있습니다.
1] VPN 서버에서 mmc(Microsoft Management Console)를 실행하고 '인증서(certificates)' 스냅인을 추가합니다.
2] 인증서 → 개인 → 인증서 경로를 확장한 후, 설치된 인증서를 더블클릭하여 엽니다.
3] '확장 키 용도(Enhanced Key Usage)' 세부 정보를 클릭하고, 그 아래에 '서버 인증(Server Authentication)' 항목이 있는지 확인합니다.
2. RAS 서버의 컴퓨터 인증서 만료 여부 확인
이 원인으로 인해 문제가 발생했다면, CA(Certificate Authority) 관리자에게 연락하여 만료되지 않은 새 인증서를 발급받아 등록해야 합니다.
3. 클라이언트에 신뢰할 수 있는 루트 인증서가 있는지 확인
클라이언트와 서버가 도메인에 속해 있다면, 루트 인증서는 '신뢰할 수 있는 루트 인증 기관(Trusted Root Certification Authorities)' 저장소에 자동으로 설치됩니다. 클라이언트에 해당 인증서가 있는지 이 위치에서 확인할 수 있습니다.
4. 인증서의 주체 이름이 원격 컴퓨터와 일치하는지 확인
다음 단계에 따라 검증할 수 있습니다.
1] 클라이언트에서 'VPN 연결 속성(VPN connection properties)'을 열고 '일반(General)' 탭을 클릭합니다.
2] '대상 호스트 이름 또는 IP 주소' 입력란에 VPN 서버의 IP 주소 대신, VPN 서버가 사용하는 인증서의 '주체 이름(subject name)'을 입력해야 합니다.
참고: 서버 인증서의 주체 이름은 일반적으로 VPN 서버의 FQDN(정규화된 도메인 이름)으로 구성됩니다.
언제 VPN 서버 관리자에게 문의해야 할까요?
VPN 오류를 처리하는 일은 매우 답답할 수 있으며, 특히 혼자서 문제를 해결할 수 없을 때 더욱 그렇습니다. VPN 오류 13801이 바로 그런 경우입니다. 시간을 낭비하지 말고 VPN 관리자에게 연락하여 원격 서버에서 검증할 수 있도록 올바른 인증서가 PC에 구성되어 있는지 확인하세요.