Windows 11 또는 Windows 10 PC에서 발생할 수 있는 VPN 관련 오류로는 VPN 오류 789(L2TP 연결 시도 실패), VPN 오류 633, 오류 13801(IKE 인증 자격 증명이 허용되지 않음), VPN 오류 691 등이 있습니다. 이 글에서는 VPN 연결을 설정하려고 할 때 나타나는 "SYSTEM 사용자가 실패한 연결을 시도했습니다(The user SYSTEM dialed a connection named which has failed)" 오류 메시지를 해결하기 위한 가장 적합한 해결책들을 소개합니다.
VPN 클라이언트가 VPN 서버에 접속하지 못해 이 문제가 발생하면 다음과 같은 전체 오류 메시지를 받게 됩니다.
VPN 연결
VPN에 연결할 수 없습니다.
원격 컴퓨터와의 연결을 설정할 수 없습니다. 이 연결의 네트워크 설정을 변경해야 할 수 있습니다.
또는
[연결 이름]에 연결할 수 없습니다. 원격 서버가 응답하지 않아 컴퓨터와 VPN 서버 간의 네트워크 연결을 설정할 수 없습니다. 이는 컴퓨터와 원격 서버 사이의 네트워크 장비(방화벽, NAT, 라우터 등) 중 하나가 VPN 연결을 허용하도록 구성되어 있지 않기 때문일 수 있습니다. 어떤 장비가 문제를 일으키는지 확인하려면 관리자 또는 서비스 공급자에게 문의하세요.
또한 응용 프로그램 이벤트 로그에는 RasClient 소스에서 Event ID 20227(오류 720 또는 오류 809 언급)과 함께 아래 오류 메시지가 기록됩니다.
[사용자 이름] 사용자가 [연결 이름]이라는 연결을 시도했지만 실패했습니다.
이 문제는 VPN 타임아웃, 즉 VPN 서버가 응답하지 않았음을 의미합니다. 대부분의 경우 해당 오류는 네트워크 연결과 직접적인 관련이 있지만, 때로는 다른 요인이 원인일 수도 있습니다.
"SYSTEM 사용자가 실패한 연결을 시도했습니다" 오류 해결 방법
Windows 11/10 PC에서 이 오류가 발생했다면, 아래 권장 해결책을 순서에 상관없이 하나씩 시도하여 문제를 해결할 수 있습니다.
- 다른 VPN 연결 제거
- 방화벽 일시적으로 비활성화
- IKEv2 조각화(Fragmentation) 지원 활성화
- WAN Miniport(IP) 인터페이스 드라이버 재설치
- 서드파티 필터 드라이버 비활성화
- 원격 액세스 IP ARP 드라이버 활성화
각 솔루션의 세부 절차를 살펴보겠습니다.
시작하기 전 서버 측 점검 사항
아래 해결책을 진행하기 전에 서버 측에서 다음 문제가 발생하지 않았는지 먼저 확인하세요.
- 정적 IP 풀(static IP Pool)이 고갈되었는지 여부
- RRAS의 DHCP 서버를 사용할 수 없거나 해당 범위(scope)가 고갈되었는지 여부
- Active Directory 사용자 속성에 구성된 정적 IP 주소를 할당할 수 없는 상황인지 여부
또한 다음 사항도 확인하세요.
- 이름 확인(Name Resolution): VPN 서버의 공개 호스트명이 올바른 IP 주소로 확인되는지 확인합니다.
- 방화벽 및 로드 밸런서 구성: 엣지 방화벽이 올바르게 구성되어 있는지, 가상 IP 주소와 포트가 정확하게 설정되어 있으며 상태 검사(health check)가 통과하는지 확인합니다. SSTP(Secure Socket Tunneling Protocol)에는 인바운드 TCP 포트 443이 필요하고, IKEv2(Internet Key Exchange version 2) 프로토콜에는 인바운드 UDP 포트 500과 4500(동일한 백엔드 서버로 전달되어야 함)이 필요합니다. NAT 규칙이 올바른 서버로 트래픽을 전달하고 있는지도 반드시 점검하세요.
1] 다른 VPN 연결 제거
시스템에 여러 개의 VPN 연결이 구성되어 있다고 가정하면, 다른 VPN 연결들을 제거하는 것부터 문제 해결을 시작할 수 있습니다.
이 작업은 네트워크 연결(Network Connections), Windows 설정, 명령 프롬프트 또는 PowerShell을 통해 VPN을 삭제하는 방법 가이드의 지침에 따라 수행할 수 있습니다.
2] 방화벽 일시적으로 비활성화
클라이언트와 서버 사이의 방화벽이 VPN 터널이 사용하는 포트를 차단하고 있어 오류가 발생했을 가능성도 있습니다. 이 경우 Windows 11/10 시스템에 설치되어 실행 중인 서드파티 보안 소프트웨어를 일시적으로 비활성화하여 문제를 해결할 수 있습니다.
컴퓨터에서 서드파티 보안 소프트웨어를 비활성화하는 방법은 설치된 보안 프로그램에 따라 다르므로 해당 프로그램의 사용 설명서를 참조하세요. 일반적으로 백신/방화벽 소프트웨어를 비활성화하려면 알림 영역, 시스템 트레이 또는 작업 표시줄 모서리 오버플로우에서 프로그램 아이콘을 찾아 마우스 오른쪽 버튼으로 클릭한 후 비활성화 또는 종료 옵션을 선택하면 됩니다.
시스템에서 서드파티 방화벽이 실행되고 있지 않다면 Windows Defender 방화벽을 비활성화할 수 있습니다. 비활성화한 후 VPN 연결을 다시 시도하고, 성공하면 백신/방화벽을 다시 활성화하면 됩니다.
3] IKEv2 조각화(Fragmentation) 지원 활성화
IKEv2 프로토콜은 IKE 계층에서 패킷을 분할하는 기능을 지원합니다. 이를 통해 IP 계층에서 패킷을 분할할 필요가 없습니다. 클라이언트와 서버 양쪽 모두에서 IKEv2 조각화가 구성되어 있지 않으면 이 문제가 발생할 가능성이 매우 높습니다. IKEv2는 많은 방화벽 및 VPN 장비에서 일반적으로 지원되며, 구성 지침은 벤더의 문서를 참조하세요.
Windows 10 1803에서 IKEv2 조각화가 도입되었으며 기본적으로 활성화되어 있어 클라이언트 측 구성은 필요하지 않습니다. 서버 측에서는 Windows Server 1803에서 IKEv2 조각화(레지스트리 키를 통해 활성화)가 도입되었으며, Windows Server Routing and Remote Access(RRAS) 서버용으로 Windows Server 2019에서도 지원됩니다.
지원되는 Windows 서버에서 IKEv2 조각화를 활성화하려면 다음 단계를 수행하세요.
- 관리자 권한으로 PowerShell을 엽니다.
- PowerShell 콘솔에 아래 명령을 입력하거나 복사하여 붙여넣고 Enter 키를 누릅니다.
New-ItemProperty -Path “HKLM:\SYSTEM\CurrentControlSet\Services\RemoteAccess\Parameters\Ikev2\” -Name EnableServerFragmentation -PropertyType DWORD -Value 1 -Force
- 명령이 실행되면 PowerShell 콘솔을 종료합니다.
4] WAN Miniport(IP) 인터페이스 드라이버 재설치
Windows 11/10 장치에서 WAN Miniport(IP) 인터페이스 드라이버를 다시 설치하려면 다음 단계를 따르세요.
- Windows 키 + R을 눌러 실행 대화 상자를 엽니다.
- 실행 대화 상자에 devmgmt.msc를 입력하고 Enter 키를 눌러 장치 관리자를 엽니다.
- 설치된 장치 목록을 아래로 스크롤하여 네트워크 어댑터 섹션을 확장합니다.
- 이름이 "WAN Miniport"로 시작하는 모든 네트워크 어댑터를 하나씩 마우스 오른쪽 버튼으로 클릭하고 디바이스 제거를 선택합니다. 다음과 같은 어댑터들이 표시될 수 있습니다:
- WAN Miniport(IP)
- WAN Miniport(IKEv2)
- WAN Miniport(IPv6)
- WAN Miniport(GRE)
- WAN Miniport(L2TP)
- WAN Miniport(Network Monitor)
- WAN Miniport(PPPOE)
- WAN Miniport(PPTP)
- WAN Miniport(SSTP)
- 모든 장치를 제거한 후 장치 관리자 메뉴 표시줄에서 동작 > 하드웨어 변경 사항 검색을 선택하여 WAN Miniport 장치를 자동으로 다시 설치합니다.
- 완료되면 장치 관리자를 종료합니다.
5] 서드파티 필터 드라이버 비활성화
이 작업을 수행하려면 먼저 클라이언트의 네트워크 어댑터 바인딩 정보를 확인해야 합니다. 다음 단계를 따르세요.
- 관리자 권한으로 PowerShell을 엽니다.
- PowerShell 콘솔에 아래 명령을 입력하거나 복사하여 붙여넣고 Enter 키를 눌러 WAN Miniport(IP) 인터페이스의 Name 값을 검색합니다.
Get-NetAdapter -IncludeHidden | Where-Object {$_.InterfaceDescription -eq "WAN Miniport (IP)"}- 다음으로, 아래 명령을 실행하되 <interface_name> 자리 표시자를 위 명령에서 확인한 실제 Name 값(예: Local Area Connection 6)으로 교체합니다.
Get-NetAdapterBinding -Name "<interface_name>" -IncludeHidden -AllBindings
- 명령이 실행되고 출력 결과에서 ComponentID가 <some_filter>인 서드파티 필터 드라이버가 바인딩되어 있거나 활성화되어 있는 것을 확인하면, 아래 명령을 실행하여 해당 드라이버를 비활성화할 수 있습니다.
Disable-NetAdapterBinding -Name "<interface_name>" -IncludeHidden -AllBindings -ComponentID <some_filter>
- 완료되면 PowerShell을 종료합니다.
6] 원격 액세스 IP ARP 드라이버 활성화
이 해결책 역시 앞서 설명한 것처럼 먼저 클라이언트의 네트워크 어댑터 바인딩 정보를 확인해야 합니다. 다음 단계를 따르세요.
- 관리자 권한으로 PowerShell을 엽니다.
- 위의 처음 두 작업을 수행하여 클라이언트의 네트워크 어댑터 바인딩 정보를 가져옵니다.
- 그 후 출력 결과에서 원격 액세스 IP ARP 드라이버의 ms_wanarp ComponentID가 비활성화(disabled) 또는 false로 되어 있는 것을 확인하면, 아래 명령을 실행하여 해당 드라이버를 활성화할 수 있습니다.
Enable-NetAdapterBinding -Name "<interface_name>" -IncludeHidden -AllBindings -ComponentID ms_wanarp
- 완료되면 PowerShell을 종료합니다.
이상입니다!
관련 글: VPN 연결 오류 800 – 시도한 VPN 터널이 실패하여 원격 연결이 설정되지 않았습니다
컴퓨터와 VPN 서버 간 네트워크 연결 문제를 수정하려면 어떻게 해야 하나요?
컴퓨터와 VPN 간의 연결이 끊긴 경우, 아래 제안 사항을 시도하여 연결을 다시 설정할 수 있는지 확인해 보세요.
- 백신/안티멀웨어 소프트웨어와 방화벽을 일시적으로 비활성화합니다.
- 라우터를 재시작하고 라우터의 방화벽을 일시적으로 비활성화합니다.
- 유선 연결로 전환합니다.
Windows 10에서 IPsec L2TP VPN 서버에 연결되지 않는 문제를 해결하려면 어떻게 해야 하나요?
Windows 10에서 "컴퓨터와 VPN 서버 간의 L2TP 연결을 설정할 수 없습니다" 오류로 VPN에 연결할 수 없는 문제를 수정하려면 다음 제안 사항을 시도해 보세요.
- VPN 서버 측에서 필요한 L2TP/IPsec 포트가 활성화되어 있는지 확인합니다.
- 다른 장치 또는 네트워크를 통해 VPN에 연결합니다.
- VPN 연결을 삭제한 후 다시 생성합니다.
즐거운 컴퓨팅 되세요!