L2TP(Layer Two Tunneling Protocol)는 주로 VPN(Virtual Private Network)을 지원하는 프로토콜입니다. VPN은 다른 환경에 위치한 서버의 데이터로 원래 데이터를 마스킹하여 네트워크 연결의 출처를 숨기며, 지리적 위치를 가리는 것으로 네트워크 경로상의 각종 제한을 우회할 수 있게 해줍니다.
그런데 최근 많은 사용자가 VPN 연결을 설정하려고 할 때 '보안 계층에서 처리 오류가 발생하여 L2TP 연결 시도가 실패했습니다'라는 오류 메시지를 접하고 있습니다. 이 글에서는 해당 문제의 원인과 효과적인 해결 방법을 단계별로 자세히 안내해 드립니다. 끝까지 읽어보세요!
Windows 10에서 L2TP 연결 시도 실패 오류의 주요 원인
여러 사용자의 사례와 온라인 보고서를 분석한 결과, 이 문제를 일으키는 주요 원인은 다음과 같습니다. 아래 항목을 하나씩 점검해 보시기 바랍니다.
- 중복된 버전의 키 또는 VPN 인증서를 사용 중인 경우
- 설정된 연결이 NAT(Network Address Translation) 규칙을 충족하지 못하는 경우
- VPN 클라이언트에 컴퓨터 인증서가 없거나 루트 컴퓨터 인증서에 '서버 인증'이 EKU(확장 키 용도)로 포함되어 있지 않은 경우
- IPsec 키 모듈, 정책 에이전트 등 필수 서비스가 실행되지 않는 경우
- PC에서 PPP(Point-to-Point Protocol)가 잘못 구성된 경우
- VPN 서버에서 Microsoft CHAP v2 프로토콜이 비활성화된 경우
- Windows 운영체제가 오래된 경우
- 백신 프로그램 또는 방화벽이 네트워크 연결을 방해하는 경우
원인을 파악했다면, 이제 아래의 문제 해결 방법을 하나씩 적용해 보세요.
방법 1: 네트워크 문제 해결사 실행
네트워크 연결 문제가 L2TP 연결 실패의 원인이라면, Windows 10에 내장된 네트워크 문제 해결 도구를 활용할 수 있습니다. Windows 네트워크 어댑터 문제 해결사를 사용하면 Wi-Fi, 이더넷 등 모든 네트워크 어댑터의 연결 문제를 진단하고 기본적인 문제를 해결할 수 있습니다.
방법 2: 손상된 파일 복구
컴퓨터에 손상된 파일이 있으면 Windows의 다양한 프로세스에 영향을 미칩니다. SFC(시스템 파일 검사기) 및 DISM 명령을 사용하여 손상된 시스템 파일과 구성 요소를 모두 복구하세요. 복구가 완료되면 L2TP 연결 오류가 해결되었는지 확인합니다.
방법 3: 명령어로 필수 서비스 시작
간단한 명령어 입력만으로 문제를 해결할 수 있는 효과적인 방법입니다. 실제로 이 방법으로 문제를 해결했다는 사용자가 많습니다.
1. Windows 키를 누르고 cmd를 입력한 후, 관리자 권한으로 실행을 클릭합니다.
2. 아래 명령어를 하나씩 붙여넣고 각 명령어마다 Enter 키를 누릅니다.
sc config IKEEXT start=demand
sc config PolicyAgent start=demand
3. 명령어 실행이 완료되면 PC를 재부팅합니다.
재부팅 후 L2TP 연결 오류가 해결되었는지 확인합니다.
방법 4: MS-CHAP v2 프로토콜 활성화
VPN 서비스를 연결하기 전에 Microsoft CHAP v2 프로토콜이 활성화되어 있는지 확인해야 합니다. 이 프로토콜이 비활성화되어 있으면 L2TP 연결 실패 오류가 발생합니다.
참고: VPN 서비스가 올바르게 구성되어 있고 VPN 자격 증명이 VPN 서버와 일치하는지도 확인하세요. 연결이 제대로 설정되었다면 네트워크 어댑터 목록에서 확인할 수 있습니다.
1. Windows + R 키를 동시에 눌러 실행 대화 상자를 엽니다.
2. ncpa.cpl을 입력하고 Enter 키를 눌러 네트워크 연결 창을 엽니다.
3. VPN 연결 네트워크를 마우스 오른쪽 버튼으로 클릭하고 속성을 선택합니다.
4. 보안 탭으로 이동한 후 이 프로토콜 허용을 클릭합니다.
5. Microsoft CHAP 버전 2(MS-CHAP v2)를 선택합니다.
6. 확인을 클릭하여 변경 사항을 저장합니다.
이후 VPN 연결을 다시 시도하여 오류가 해결되었는지 확인합니다.
방법 5: LCP(Link Control Protocol) 확장 활성화
모든 네트워크에서 PPP(Point-to-Point Protocol)는 VPN 연결의 전송, 압축, 인증을 담당합니다. 따라서 네트워크의 PPP 설정이 올바르게 구성되어 LCP 확장을 허용해야 하며, LCP 확장은 PPP 네트워크의 중요한 부분입니다.
1. 위 방법 4의 1~3단계를 동일하게 반복합니다.
2. 옵션 탭으로 이동한 후 PPP 설정을 클릭합니다.
3. LCP 확장 사용 옵션을 체크합니다.
4. 확인을 클릭합니다.
5. 다시 확인을 클릭하여 변경 사항을 저장한 후 VPN에 연결합니다.
방법 6: 필수 서비스 재시작
많은 사용자가 IPsec 키 모듈(IKEEXT)과 IPsec 정책 에이전트(PolicyAgent) 서비스를 재시작하여 문제를 해결했다고 보고했습니다.
1. Windows 키를 누르고 서비스를 입력한 후 열기를 클릭합니다.
2. 창을 아래로 스크롤하여 IKE 및 AuthIP IPsec 키 모듈 서비스를 두 번 클릭합니다.
3. 일반 탭에서 드롭다운 메뉴를 통해 시작 유형을 자동으로 설정합니다.
4. 서비스 상태가 실행 중인지 확인합니다. 실행 중이 아니라면 시작 버튼을 클릭합니다.
5. 적용 및 확인을 클릭하여 변경 사항을 저장합니다.
6. IPsec 정책 에이전트 서비스에 대해서도 동일한 단계를 반복합니다.
7. 마지막으로 VPN 서비스를 다시 시작합니다.
방법 7: Windows 업데이트
Windows 10 PC는 익숙한 기능들을 개선하는 업데이트를 정기적으로 배포합니다. Windows 업데이트는 매우 중요하며 대부분의 경우 안전합니다. 설정 → 업데이트 및 보안 → Windows 업데이트에서 최신 업데이트를 다운로드하고 설치한 후, 문제가 해결되었는지 확인합니다.
방법 8: 백신 프로그램 일시적으로 비활성화 (해당되는 경우)
때때로 백신 프로그램이 VPN 연결을 방해하여 L2TP 연결 실패 오류를 일으킬 수 있습니다. Norton, Avast 같은 일부 서드파티 백신 프로그램은 PC의 버그를 수정하는 최신 업데이트를 차단하기도 합니다. 백신 프로그램을 일시적으로 비활성화한 후 VPN 연결을 시도해 보세요.
주의: VPN 문제를 해결한 후에는 반드시 백신 프로그램을 다시 활성화하세요. 보안 소프트웨어 없이 PC를 사용하는 것은 항상 위험합니다.
방법 9: Windows 방화벽 비활성화 (권장하지 않음)
VPN 서비스가 Windows Defender 방화벽에 의해 차단된 경우, 방화벽을 일시적으로 비활성화하여 문제를 해결할 수 있습니다. 또는 방화벽을 끄는 대신 VPN 클라이언트를 방화벽 허용 목록에 추가하는 방법도 더 안전한 대안입니다.
주의: VPN 서비스에 접근할 수 있게 되면 반드시 방화벽을 다시 활성화하세요. 방화벽 보호 없이는 맬웨어 공격에 취약해집니다.
방법 10: TCP/IP 구성 초기화
TCP(Transmission Control Protocol)는 인터넷상에서 규칙과 표준 절차를 설정하는 네트워크 연결의 필수 요소입니다. 관리자 권한 명령 프롬프트에서 netsh int ip reset 및 netsh winsock reset 명령을 실행하여 TCP/IP를 초기화한 후 PC를 재부팅하고 문제가 해결되었는지 확인합니다.
방법 11: 새 레지스트리 항목 생성
일부 사용자는 Windows 레지스트리 편집기에 새 항목을 생성하여 L2TP 연결 실패 문제를 해결했다고 확인했습니다.
참고: 작업을 시작하기 전에 반드시 레지스트리 백업을 생성하세요. 레지스트리를 잘못 수정하면 시스템에 심각한 문제가 발생할 수 있습니다.
1. Windows + R 키를 함께 눌러 실행 대화 상자를 엽니다.
2. regedit를 입력하고 Enter 키를 눌러 레지스트리 편집기를 실행합니다.
3. 레지스트리 편집기에서 다음 키 폴더 경로로 이동합니다.
HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\RasMan\Parameters
4. 오른쪽 창을 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 → DWORD(32비트) 값을 선택합니다.
5. 생성한 키를 두 번 클릭하고 값 데이터를 1로 설정한 후 모든 창을 닫습니다.
방법 12: UDP 캡슐화 레지스트리 키 생성
UDP 캡슐화 레지스트리 키를 생성하면 네트워크 불안정을 유발하는 VPN 연결 문제를 해결할 수 있습니다. 이렇게 하면 VPN 서버에 쉽게 연결할 수 있습니다.
1. Windows 키를 누르고 레지스트리 편집기를 입력한 후 열기를 클릭합니다.
2. 레지스트리 편집기에서 다음 경로로 이동합니다.
Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\PolicyAgent
3. 오른쪽 창을 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 → DWORD(32비트) 값을 선택합니다.
4. 키 이름을 AssumeUDPEncapsulationContextOnSendRule로 지정하고, 생성된 키를 두 번 클릭합니다.
5. 값 데이터를 2로 설정하고 확인을 클릭합니다.
6. 마지막으로 PC를 재부팅합니다.
방법 13: 수동으로 포트 포워딩
포트 포워딩은 통신 패킷을 한 포트와 대상 주소에서 다른 곳으로 리디렉션하여 네트워크 성능을 향상시키는 방법입니다.
1. 브라우저에서 Portforward 웹사이트에 접속하여 실행하려는 프로그램의 기본 포트를 확인하고 기록해 둡니다.
2. 무선 라우터의 IP 주소, 사용자 이름, 비밀번호를 찾습니다. 라우터 설명서에서도 확인할 수 있습니다.
3. 브라우저를 열고 주소 표시줄에 라우터의 IP 주소를 입력합니다.
4. 라우터 자격 증명을 입력하고 로그인합니다.
5. 포트 포워딩(Port Forwarding) 관련 메뉴를 찾습니다. 라우터 모델에 따라 고급 설정 또는 유사한 메뉴 아래에 있을 수 있습니다.
6. 포트 포워딩을 활성화하고 특정 포트를 추가할 수 있는 옵션을 클릭합니다.
7. 빈 텍스트 필드에 기본 포트 번호를 입력하고 저장을 클릭합니다.
8. 마지막으로 문제없이 VPN 연결이 설정되는지 확인합니다.
방법 14: VPN 어댑터 재설치
네트워크 어댑터에 불안정성이 있으면 L2TP 연결 실패 오류가 발생할 수 있습니다. 장치 관리자에서 네트워크 어댑터 드라이버를 제거한 후 다시 설치하여 문제를 해결해 보세요. 드라이버를 재설치한 후 문제가 해결되었는지 확인합니다.
방법 15: VPN 어댑터 롤백
VPN 드라이버를 롤백하면 현재 버전의 하드웨어 드라이버가 제거되고 이전에 설치된 드라이버가 PC에 설치됩니다. 장치 관리자에서 드라이버 속성의 '드라이버 롤백' 기능을 사용하여 이전 버전으로 되돌린 후, VPN 연결 문제가 해결되었는지 확인합니다.
방법 16: 최근 보안 업데이트 제거
Windows OS를 업데이트한 후에 L2TP 연결 실패 문제가 발생했다면, VPN 연결이 새 업데이트와 호환되지 않을 가능성이 있습니다. 이 경우 최근 업데이트를 제거하면 PC의 안정성도 개선됩니다.
1. Windows 키를 누르고 제어판을 입력한 후 열기를 클릭합니다.
2. 프로그램 메뉴에서 프로그램 제거를 클릭합니다.
3. 왼쪽 창에서 설치된 업데이트 보기를 클릭합니다.
4. 가장 최근의 업데이트(예: Windows 10의 경우 kb:5009543, Windows 11의 경우 kb:5009566)를 선택하고 제거를 클릭합니다.
5. 확인 메시지가 나타나면 승인하고 PC를 재부팅합니다.
마무리
위의 방법들을 통해 Windows 10에서 L2TP 연결 시도 실패(보안 계층 처리 오류) 문제를 해결하셨기를 바랍니다. 문제 해결 과정에서 막히는 부분이 있다면 댓글로 알려주세요. 추가 문의 사항이 있으면 언제든지 연락해 주세요.