Computer >> 컴퓨터 >  >> 시스템 >> Windows

Windows 11/10에서 자주 발생하는 VPN 오류 코드 및 해결 방법 완벽 가이드

가상 사설망(Virtual Private Network, VPN)은 안전하게 보호되는 연결을 만들기 위해 사용되는 기술입니다. 주로 인터넷을 통해 더욱 안전한 브라우징 환경을 제공하기 위해 활용되며, 이러한 연결은 로컬 클라이언트와 원격 서버 사이에 형성되는 'VPN 터널'이라고 불립니다.

VPN을 설정하고 운영하는 일은 전문적인 지식과 기술이 필요한 까다로운 작업입니다. VPN 소프트웨어 연결에 실패하면 클라이언트 프로그램은 오류 메시지를 표시하는데, 이 메시지에는 대개 오류 코드 번호가 포함되어 있습니다. 다양한 VPN 오류 코드가 존재하지만, 그중 일부는 매우 흔하게 나타나며 대부분의 사례에서 발견됩니다. 이러한 오류 코드를 잘 이해하면 VPN 문제를 효과적으로 해결할 수 있습니다.

대부분의 VPN 문제는 표준 네트워크 문제 해결 절차로 처리할 수 있지만, 특정 오류 코드는 고유한 해결 방법을 필요로 합니다. 지금부터 691, 720, 721, 789, 800, 809, 609, 633, 0x80072746, 13801, 0x800704C9와 같이 사용자들이 자주 겪는 VPN 오류 코드를 해결하는 방법을 살펴보겠습니다.

일반적으로 표시되는 오류 메시지는 다음과 같습니다:

VPN 연결이 오류 코드와 함께 실패했습니다

또는:

실패 시 반환된 오류 코드는 789입니다

시작하기 전에 알아두어야 할 사항이 있습니다. VPN 소프트웨어에는 TAP-Windows 어댑터가 올바르게 설치되어 있어야 합니다. 대부분의 VPN 소프트웨어는 설치 과정에서 이를 자동으로 다운로드하고 설치하지만, 반드시 기억해 두어야 할 부분입니다.

자주 발생하는 VPN 오류 코드 해결 방법

이 글에서는 VPN 오류 코드 800, 609, 633, 809, 13801, 691, 0x80072746, 0x800704C9, 789, 732, 734, 812, 806, 835, 766, 13806, 0x80070040, 0x800B0101, 0x800B0109, 0x800B010F, 0x80092013, 0x800704D4, 0x80072746을 수정하는 방법을 소개합니다.

1. VPN 오류 코드 800

오류 설명: VPN 오류 코드 800은 가장 흔한 VPN 오류 중 하나입니다. 원격 연결이 이루어지지 않았을 때 발생하며, 일반적으로 VPN 서버에 접근할 수 없어 메시지가 서버에 도달하지 못한다는 것을 의미합니다. 주요 원인은 다음과 같습니다:

  • VPN 서버의 이름 또는 주소가 잘못된 경우
  • 네트워크 방화벽이 VPN 트래픽을 차단하는 경우
  • 클라이언트 장치가 로컬 네트워크와의 연결을 잃은 경우
  • L2TP/IPSec 터널 사용 시 IPSec 협상의 보안 매개변수 구성이 부적절한 경우

가능한 원인: VPN 터널 유형이 '자동(Automatic)'으로 설정되어 있고 모든 VPN 터널에 대한 연결 설정이 실패할 때 오류 800이 발생합니다.

해결 방법:

  1. VPN 서버 주소, 사용자 이름, 비밀번호가 정확한지 다시 한번 확인합니다.
  2. 라우터와 방화벽 설정에서 PPTP 및 VPN 패스스루(pass-through)를 허용합니다. PPTP VPN 연결을 위해서는 TCP 포트 1723과 GRE 프로토콜 47이 열려 있거나 활성화되어야 합니다.
  3. Windows 사용자의 경우 VPN 속성으로 이동하여 '보안' 탭을 클릭하고 VPN 유형을 PPTP(Point to Point Tunneling Protocol)로 변경합니다.

2. VPN 오류 코드 609, 633

오류 설명:

  • 609: 존재하지 않는 장치 유형이 지정되었습니다.
  • 633: 모뎀 또는 기타 연결 장치가 이미 사용 중이거나 적절하게 구성되지 않았습니다.

가능한 원인: 역시 가장 흔한 VPN 오류 중 하나입니다. 이 문제는 일반적으로 연결 장치(미니포트)가 올바르게 구성되지 않았거나, VPN 연결에 사용되는 TCP 포트를 다른 프로그램이 이미 사용 중일 때 발생합니다.

미니포트의 존재 여부를 확인하려면 관리자 권한 명령 프롬프트에서 netcfg.exe -q <미니포트 이름>을 입력합니다. 터널별 미니포트 장치 이름은 아래와 같습니다:

  • PPTP 터널: MS_PPTP
  • L2TP 터널: MS_L2TP
  • VPN 재연결(IKEv2) 터널: MS_AGILEVPN
  • SSTP 터널: MS_SSTP

해결 방법:

  1. Windows에는 복구 기능이 내장된 진단 도구가 제공됩니다. 로컬에서 생성된 VPN 연결의 '누락된 미니포트' 문제를 위해 마련된 것으로, VPN 연결 오류 페이지에 표시되는 '진단' 버튼을 클릭하면 '복구' 옵션이 나타나며, 미니포트 누락이 원인으로 확인되면 자동으로 문제를 수정하려고 시도합니다.
  2. 원격 액세스 연결 관리자(Remote Access Connection Manager, rasman) 서비스를 중지한 후 다시 시작합니다.
  3. 간단히 시스템을 재부팅한 후 VPN에 다시 연결합니다.

3. VPN 오류 코드 0x80072746

오류 설명: VPN 오류 코드 0x80072746은 원격 호스트가 기존 연결을 강제로 종료했을 때 발생하는 흔한 VPN 오류입니다.

가능한 원인: 이 오류는 VPN 서버에서 HTTPS에 대한 서버 컴퓨터 인증서 바인딩이 수행되지 않았거나, 서버 컴퓨터 인증서가 VPN 서버에 설치되어 있지 않을 때 발생합니다.

해결 방법:

  • 이 문제를 해결하려면 VPN 서버 관리자에게 연락하여 관련 컴퓨터 인증서가 VPN 서버에 설치되어 있는지 확인해야 합니다.
  • 인증서가 올바르게 설치되어 있다면, VPN 서버 명령 프롬프트에서 "netsh http show ssl" 명령을 실행하여 HTTPS 바인딩 상태를 확인해야 합니다.

4. VPN 오류 코드 809

오류 메시지: VPN 오류 809 – 원격 서버가 응답하지 않아 컴퓨터와 VPN 서버 간의 네트워크 연결을 설정할 수 없습니다.

해결 방법: 방화벽/라우터에서 위에서 언급한 포트를 활성화합니다. 이것이 불가능한 경우, VPN 서버와 VPN 클라이언트 양쪽에 SSTP 기반 VPN 터널을 배포하세요. SSTP는 방화벽, 웹 프록시 및 NAT를 통과하는 VPN 연결을 허용합니다.

5. VPN 오류 코드 13801

오류 설명: 간헐적으로 발생하는 오류처럼 보이지만, 13801은 사용자들이 자주 겪는 VPN 오류 중 하나입니다. IKE 인증 자격 증명이 승인되지 않을 때 발생합니다.

가능한 원인: 이 오류는 일반적으로 다음과 같은 경우에 나타납니다:

  • RAS 서버에서 IKEv2 검증에 사용되는 컴퓨터 인증서에 EKU(향상된 키 용도)로 "Server Authentication"이 포함되어 있지 않은 경우
  • RAS 서버의 컴퓨터 인증서가 만료된 경우
  • RAS 서버 인증서를 검증하는 데 필요한 루트 인증서가 클라이언트에 없는 경우
  • 클라이언트에 입력된 VPN 서버 이름이 서버 인증서의 subjectName과 일치하지 않는 경우

해결 방법: 안타깝게도 이 문제는 사용자가 직접 해결할 수 없습니다. VPN 서버 관리자에게 연락하여 위 사항을 확인하고 수정해야 합니다. 이 오류에 대해 자세히 알아보려면 Routing and Remote Access 블로그를 참조하세요.

6. VPN 오류 코드 691

오류 설명: 일부 흔한 VPN 오류는 사용자가 직접 해결할 수 있는 방법이 있습니다. VPN 오류 코드 691이 바로 그런 경우입니다. 이 오류는 입력한 사용자 이름과 비밀번호 조합이 인식되지 않거나, 선택한 인증 프로토콜이 원격 액세스 서버에서 허용되지 않아 원격 연결이 거부되었을 때 발생합니다.

가능한 원인: 잘못된 자격 증명이 전달되어 인증 단계에서 오류가 발생했을 때 표시됩니다.

해결 방법:

  • 사용자 이름과 비밀번호를 정확하게 입력했는지 확인합니다.
  • 자격 증명을 입력할 때 'Caps Lock'이 켜져 있지 않은지 확인합니다.
  • 클라이언트에서 선택한 인증 프로토콜이 서버에서 허용되는지 확인합니다.

7. VPN 오류 코드 0x800704C9

가능한 원인: VPN 오류 코드 0x800704C9는 흔한 VPN 오류 중 하나로, 서버에서 사용 가능한 SSTP 포트가 없을 때 발생합니다.

해결 방법: 다행히 이 오류는 직접 해결할 수 있습니다. 먼저 RAS 서버에 원격 액세스를 위한 충분한 포트가 구성되어 있는지 확인합니다. 다음 단계를 따르세요:

  • 라우팅 및 원격 액세스 MMC 스냅인을 시작합니다.
  • 서버를 확장하고 '포트'를 마우스 오른쪽 버튼으로 클릭한 다음 '속성'을 클릭합니다.
  • 이름 목록에서 'WAN Miniport(SSTP)'를 클릭한 다음 '구성'을 클릭합니다.
  • '최대 포트' 목록에 표시된 숫자를 필요에 맞게 수정한 후 '확인'을 클릭합니다.

참고: 기본적으로 이 장치에는 128개의 포트가 사용 가능합니다.

  • 포트 속성 대화 상자에서 '확인'을 클릭합니다.

8. VPN 오류 코드 789

오류 메시지: VPN 오류 코드 789 – 원격 컴퓨터와의 초기 협상 중 보안 계층에서 처리 오류가 발생하여 L2TP 연결 시도가 실패했습니다.

해결 방법: L2TP/IPSec 연결에 대한 IPSec 협상이 실패할 때 발생하는 일반적인 오류입니다. 클라이언트와 서버 양쪽에서 올바른 인증서가 사용되고 있는지 확인하세요. PSK(Pre Shared Key, 사전 공유 키)를 사용하는 경우 클라이언트와 VPN 서버에 동일한 PSK가 구성되어 있는지 반드시 점검합니다.

위에서 소개한 일반적인 VPN 오류 외에도 여러 다른 VPN 오류가 발생할 수 있습니다. 다른 VPN 오류의 목록, 가능한 원인 및 해결 방법을 확인하려면 TechNet을 참조하세요. 이 글이 VPN 오류 코드 732, 734, 812, 806, 835, 766, 13806, 0x80070040, 0x800B0101, 0x800B0109, 0x800B010F, 0x80092013, 0x800704D4, 0x80072746을 해결하는 데 도움이 되기를 바랍니다.