Windows 10에서 L2TP/IPsec VPN 서버에 연결할 수 없는 문제가 발생하셨나요? 이 글에서는 해당 오류의 원인과 단계별 해결 방법을 자세히 안내해 드립니다.
VPN 연결 오류는 다양한 원인으로 발생하지만, 대부분은 VPN 연결 설정의 오류(잘못된 서버 이름/주소, 인증 방식, 사용자 이름 또는 비밀번호 등) 때문입니다. 따라서 VPN 연결 문제를 해결하기 위한 첫 번째 단계는 모든 VPN 설정이 올바른지 확인하는 것입니다.
이 가이드는 Windows 10 또는 Windows Server 2012/2016에서 L2TP/IPsec VPN 서버에 접속하려고 할 때 나타나는 다음 오류들을 해결하는 방법을 담고 있습니다.
- 원격 서버가 응답하지 않아 컴퓨터와 VPN 서버 간의 네트워크 연결을 설정할 수 없습니다. 이는 컴퓨터와 원격 서버 사이의 네트워크 장치(방화벽, NAT, 라우터 등) 중 하나가 VPN 연결을 허용하도록 구성되지 않았기 때문일 수 있습니다. 어떤 장치가 문제를 일으키는지 확인하려면 관리자 또는 서비스 제공업체에 문의하세요.
- L2TP 연결 시도가 실패했습니다. 원격 컴퓨터와 초기 협상 과정에서 보안 계층에 처리 오류가 발생했습니다.
Windows 10에서 L2TP VPN 연결 실패 해결 방법
아래의 세부 지침을 진행하기 전에 먼저 다음 기본 조치를 적용해 보세요.
* 참고: 문제가 2022년 1월 이후 시작되었다면, 먼저 관련 문서인 'L2TP 연결 시도 실패: 보안 계층 처리 오류' 관련 해결 방법을 확인해 보시기 바랍니다.
기본 점검 사항
1. VPN 서버 측에서 필수 L2TP/IPsec 포트가 개방되어 있는지 확인
VPN 서버 측 라우터에 로그인하여 다음 UDP 포트를 VPN 서버의 IP 주소로 포워딩합니다: 1701, 50, 500, 4500
2. 다른 기기 또는 다른 네트워크로 연결 테스트
다른 기기(예: 스마트폰) 또는 다른 네트워크(예: 모바일 데이터)에서 L2TP VPN에 접속해 문제가 재현되는지 확인해 보세요.
3. VPN 연결 삭제 후 재생성
VPN 연결 프로필을 삭제하고 새로 추가하면 문제가 해결되는 경우도 있습니다.
위 조치 후에도 Windows 10 PC에서 L2TP/IPsec VPN 서버에 연결되지 않는다면, 아래의 레지스트리 및 VPN 연결 설정 변경을 진행하세요.
1단계. NAT 환경에서 L2TP 연결 허용 설정 (레지스트리 수정)
기본적으로 Windows는 컴퓨터 또는 VPN 서버가 NAT(Network Address Translation) 환경 뒤에 있을 경우 L2TP/IPsec 연결을 지원하지 않습니다. 이 문제를 우회하려면 아래와 같이 레지스트리를 수정해야 합니다.
1. 레지스트리 편집기를 엽니다.
① 키보드에서 Win + R 키를 동시에 눌러 실행 명령 창을 엽니다.
② regedit를 입력하고 Enter 키를 눌러 레지스트리 편집기를 실행합니다.
2. 왼쪽 창에서 다음 경로로 이동합니다.
- HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\PolicyAgent
3. 오른쪽 창의 빈 공간을 마우스 오른쪽 버튼으로 클릭한 후 새로 만들기 → DWORD(32비트) 값을 선택합니다.
4. 새 값의 이름을 AssumeUDPEncapsulationContextOnSendRule로 입력하고 Enter 키를 누릅니다.
* 주의: 값 이름은 위와 정확히 동일하게 입력해야 하며, 끝에 공백이 없어야 합니다.
5. AssumeUDPEncapsulationContextOnSendRule 값을 더블클릭하고, 값 데이터에 2를 입력한 후 확인을 클릭합니다.
6. 레지스트리 편집기를 닫고, 변경 사항을 적용하기 위해 컴퓨터를 재부팅합니다.
2단계. VPN 연결의 보안 설정 변경
1. 작업 표시줄의 네트워크 아이콘을 마우스 오른쪽 버튼으로 클릭하고 네트워크 및 인터넷 설정 열기를 선택합니다.
* 참고: 시작 메뉴 → 설정 → 네트워크 및 인터넷으로 이동해도 동일한 화면에 접근할 수 있습니다.
2. 왼쪽 메뉴에서 이더넷(Ethernet)을 선택한 후, 오른쪽의 어댑터 옵션 변경을 클릭합니다.
3. VPN 연결 항목을 마우스 오른쪽 버튼으로 클릭하고 속성(Properties)을 선택합니다.
4a. [옵션] 탭에서 [PPP 설정]을 클릭합니다.
4b. [LCP 확장 사용]에 체크한 후 확인을 클릭합니다.
4c. [보안] 탭에서 다음 항목을 체크한 후 확인을 클릭합니다.
- 다음 프로토콜 허용
- CHAP(Challenge Handshake Authentication Protocol)
- MS-CHAP v2(Microsoft CHAP Version 2)
5. VPN에 다시 연결을 시도합니다. 이제 문제없이 연결이 설정될 것입니다.
추가 해결 방법
위 단계를 모두 적용한 후에도 문제가 지속된다면, 아래 방법들을 시도해 보세요.
1. 다음 서비스가 활성화되어 있는지 확인 (시작 유형: 자동)
- IKE 및 AuthIP IPsec 키 교환 모듈(IKE and AuthIP IPsec Keying Modules)
- IPsec 정책 에이전트(IPsec Policy Agent)
2. 서드파티 방화벽 프로그램 사용 중이라면, VPN 연결 전에 해당 프로그램을 비활성화하거나 완전히 제거해 보세요.
3. Windows 방화벽 설정을 기본값으로 초기화해 보세요. 제어판 → Windows Defender 방화벽으로 이동한 후 기본값 복원(Restore defaults)을 클릭하면 됩니다.
4. VPN 연결을 삭제하고 다시 생성합니다.
5. VPN 서버 측의 라우터를 재부팅합니다.
이상으로 Windows 10에서 L2TP VPN 연결 문제를 해결하는 방법을 알아보았습니다. 이 가이드가 도움이 되었다면 경험과 피드백을 댓글로 남겨주세요. 많은 분들이 도움을 받을 수 있도록 공유 부탁드립니다!