Windows 10에서 Cisco AnyConnect '연결 시도 실패' 오류 해결하는 6가지 방법

일부 Windows 사용자들이 Cisco AnyConnect 애플리케이션을 실행해 VPN(가상 사설망)에 연결하려고 할 때 '연결 시도 실패(Connection attempt failed)' 오류가 발생한다고 보고하고 있습니다. 이 문제는 Windows 8.1과 Windows 10 환경에서 주로 나타나는 것으로 알려져 있습니다.

이 오류는 여러 가지 원인으로 발생할 수 있습니다. 오류를 유발할 수 있는 주요 원인들을 정리하면 다음과 같습니다.

• TLS 프로토콜 재협상 관련 핫픽스 누락 – 일부 Windows 업데이트가 Cisco AnyConnect와 충돌을 일으킬 수 있습니다. 보류 중인 업데이트를 모두 설치하여 TLS 프로토콜 재협상 및 폴백 동작의 불일치를 해소한 후 문제가 해결된 사례가 많습니다.
• Windows 10과의 호환성 문제 – SSL/TLS API와의 비호환성으로 인해 Cisco AnyConnect가 외부 서버와 통신하지 못하는 경우가 있습니다. 이 경우 vpnui.exe 파일을 Windows 8 호환성 모드로 실행하면 해결할 수 있습니다.
• Windows Update KB3034682로 인한 오류 – KB3034682 업데이트 설치 후 갑자기 문제가 발생했다면, 해당 업데이트에 포함된 보안 규칙이 Cisco AnyConnect와 충돌하는 것일 가능성이 높습니다. 문제가 되는 업데이트를 제거하고 숨기면 해결됩니다.
• Windows 10에서 Hyper-V 충돌 – Hyper-V는 Cisco AnyConnect를 포함한 다양한 VPN 프로그램과 충돌하는 것으로 잘 알려져 있습니다. 애플리케이션 실행 전 Hyper-V를 비활성화하면 문제를 해결할 수 있습니다.
• 연결 공유 기능 활성화 – 네트워크 연결 공유 기능이 Cisco AnyConnect와 충돌하여 이 오류가 발생할 수 있습니다. 네트워크 연결 탭에서 공유 기능을 비활성화하면 됩니다.
• Internet Explorer가 오프라인 작업 모드로 설정됨 – Cisco AnyConnect는 IE와 일부 기능을 공유하기 때문에 IE의 오프라인 모드가 활성화되어 있으면 이 오류가 발생할 수 있습니다. 레지스트리 편집기를 통해 수정할 수 있습니다.

오류의 잠재적 원인을 파악했다면, 아래에서 실제 사용자들에게 효과가 입증된 해결 방법들을 하나씩 시도해 보세요.

1. 보류 중인 Windows 업데이트 모두 설치하기

이 문제를 유발하는 가장 흔한 원인 중 하나는 TLS 프로토콜 재협상 및 폴백 동작에 영향을 미치는 보안 업데이트(3023607)입니다.

실제로 Microsoft Update 유틸리티를 실행해 Internet Explorer용 3월 누적 보안 업데이트(MS15-018)와 SChannel 취약점 보안 기능 우회 수정 업데이트(MS15-031, 2015년 3월 10일)를 포함한 모든 보안 및 누적 업데이트를 설치한 후 문제가 해결되었다는 사용자 보고가 있습니다.

컴퓨터에 사용 가능한 Windows 업데이트가 모두 설치되어 있는지 확실하지 않다면, 아래 단계를 따라 확인하세요.

1. Windows 키 + R을 눌러 실행(Run) 대화 상자를 엽니다. 그런 다음 'ms-settings:windowsupdate'를 입력하고 Enter 키를 눌러 설정 앱의 Windows Update 화면으로 이동합니다.
2. Windows Update 화면에서 업데이트 확인을 클릭합니다. 이후 화면 안내에 따라 현재 설치 대기 중인 모든 Windows 업데이트를 설치합니다.
   
   참고: 중요 업데이트뿐만 아니라 누적 업데이트와 보안 업데이트 등 모든 종류의 업데이트를 설치해야 합니다.
3. 보류 중인 업데이트가 많은 경우, 각 업데이트 설치 전에 재시작을 요구하는 메시지가 표시될 수 있습니다. 이 경우 안내에 따라 PC를 재시작하되, 다음 부팅 후 반드시 같은 화면으로 돌아와 나머지 업데이트 설치를 완료하세요.
4. 모든 업데이트 설치가 끝나면 컴퓨터를 한 번 더 재부팅하고 Cisco AnyConnect 오류가 해결되었는지 확인합니다.

2. Cisco AnyConnect를 호환성 모드로 실행하기 (Windows 10 전용)

업데이트 설치로 문제가 해결되지 않았거나 Windows 10에서 문제가 발생하는 경우, 호환성 문제일 가능성이 높습니다. 이는 주로 Critical Windows 10 업데이트(3023607)가 SSL/TLS API의 세부 사항을 변경하면서 Cisco AnyConnect 앱이 작동하지 않게 되어 발생합니다.

Windows 10에서 이 문제가 발생한다면, 가장 쉬운 해결 방법은 Cisco AnyConnect를 실행하는 메인 실행 파일을 호환성 모드(Windows 8)로 강제 실행하는 것입니다.

아래 지침에 따라 vpnui.exe 실행 파일을 Windows 8 호환성 모드로 설정해 보세요.

1. 파일 탐색기를 열고 Cisco AnyConnect Secure Mobility Client 폴더가 설치된 위치로 이동합니다. 별도의 사용자 지정 위치에 설치하지 않았다면 다음 경로에서 찾을 수 있습니다.

   C:\Program Files (x86)\Cisco\Cisco AnyConnect Secure Mobility Client

2. 해당 위치에서 vpnui.exe 파일을 마우스 오른쪽 버튼으로 클릭하고, 나타나는 컨텍스트 메뉴에서 속성(Properties)을 선택합니다.
3. 속성 창에서 호환성(Compatibility) 탭을 클릭한 후, 호환성 모드 섹션에서 '이 프로그램을 호환 모드로 실행:' 체크박스에 체크합니다.
4. 체크박스를 선택하면 Windows 버전 목록이 활성화됩니다. 목록을 열고 Windows 8을 선택합니다.
5. 마지막으로 적용(Apply)을 클릭한 후 Cisco AnyConnect를 실행하여 오류가 여전히 발생하는지 확인합니다.

이미 vpnui.exe를 Windows 8 호환성 모드로 실행해 보았는데도 여전히 연결 시도 실패 오류가 나타난다면, 아래의 다음 해결 방법으로 넘어가세요.

3. KB3034682 업데이트 제거 및 숨기기

앞선 두 가지 방법이 효과가 없거나 적용할 수 없는 상황이라면, 문제를 일으키는 업데이트(KB3034682)를 제거하는 것이 최후의 수단입니다.

단, 문제가 되는 업데이트를 숨기는 조치를 취하지 않으면, 몇 번의 시스템 재시작 후 해당 업데이트가 다시 설치되어 동일한 문제가 반복될 수 있다는 점에 유의하세요.

Microsoft 업데이트 표시 또는 숨기기 문제 해결사(Show or Hide troubleshooter)를 사용하면 KB3034682 업데이트를 제거한 후 해당 업데이트가 다시 설치되는 것을 방지할 수 있습니다.

구체적인 절차는 아래 지침을 따르세요.

1. Windows 키 + R을 눌러 실행(Run) 대화 상자를 엽니다. 텍스트 상자에 'ms-settings:windowsupdate'를 입력하고 Enter 키를 눌러 설정 앱의 Windows Update 화면으로 이동합니다.
2. Windows Update 화면에서 좌측 메뉴의 업데이트 기록 보기를 클릭합니다.
3. 최근 설치된 업데이트 목록이 로드되면, 화면 상단의 업데이트 제거를 클릭합니다.
4. 설치된 업데이트 목록을 스크롤하여 KB3034682 업데이트를 찾습니다.
5. 해당 업데이트를 찾으면 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 제거를 선택합니다. 확인 메시지가 표시되면 예를 클릭해 프로세스를 시작합니다.
6. 업데이트 제거가 완료되면 Microsoft 업데이트 표시 또는 숨기기 문제 해결사 다운로드 페이지에 접속하여 도구를 다운로드합니다.
7. 다운로드가 완료되면 .diagcab 파일을 열고 즉시 고급(Advanced) 버튼을 클릭합니다. 그런 다음 자동으로 복구 적용(Apply Repairs Automatically) 체크박스에 체크합니다.
8. 다음(Next)을 눌러 다음 화면으로 이동하고, 유틸리티가 업데이트 검사를 마칠 때까지 기다린 후 업데이트 숨기기(Hide Updates)를 클릭합니다.
9. 작업이 완료되면 숨기려는 업데이트에 해당하는 체크박스를 선택하고 다음(Next)을 클릭하여 선택한 업데이트를 Windows Update에서 숨깁니다.
10. 절차가 완료될 때까지 기다린 후 컴퓨터를 재시작하고, 다음 부팅이 완료되면 문제가 해결되었는지 확인합니다.

문제가 되는 업데이트를 제거하고 숨기는 번거로운 작업을 거쳤음에도 동일한 문제가 계속 발생한다면, 아래의 다음 해결 방법으로 넘어가세요.

4. Hyper-V 비활성화하기 (Windows 10)

Windows 10에서 기본적으로 활성화되어 있는 Hyper-V 서비스와 Cisco AnyConnect 간의 충돌로 인해서도 이 오류가 발생할 수 있습니다.

동일한 문제를 겪었던 여러 사용자들은 Hyper-V 및 관련 서비스를 일시적으로 비활성화한 후 컴퓨터를 재부팅하고 Cisco AnyConnect를 사용함으로써 '연결 시도 실패' 오류를 해결했다고 보고했습니다.

이 시나리오가 자신에게 해당한다고 생각되면, 아래 지침에 따라 Windows 기능 메뉴에서 Hyper-V를 비활성화하세요.

1. Windows 키 + R을 눌러 실행(Run) 대화 상자를 엽니다. 텍스트 상자에 'appwiz.cpl'을 입력하고 Enter 키를 눌러 프로그램 및 기능 메뉴를 엽니다. UAC(사용자 계정 컨트롤) 메시지가 표시되면 예를 클릭해 관리자 권한을 부여합니다.
2. 프로그램 및 기능 메뉴에서 좌측 메뉴의 Windows 기능 켜기/끄기를 클릭합니다. 사용자 계정 컨트롤 메시지가 표시되면 예를 클릭해 관리자 권한을 부여합니다.
3. Windows 기능 화면에서 목록을 스크롤하여 Hyper-V에 해당하는 체크박스의 선택을 해제합니다. 그런 다음 확인을 클릭해 변경 사항을 저장합니다.
4. Hyper-V 기능이 비활성화되면 컴퓨터를 재시작하고, 다음 부팅이 완료된 후 문제가 해결되었는지 확인합니다.

5. 네트워크 연결 공유 비활성화하기

위의 방법들이 모두 효과가 없고, 현재 Microsoft Hosted Network Virtual Adapter를 통해 네트워크 연결을 공유하고 있는 상태라면, 공유 네트워크 연결을 비활성화하여 '연결 시도 실패' 오류를 해결할 수 있습니다.

실제로 이 시나리오에 해당하는 여러 사용자가 네트워크 연결 탭에 접속해 기본 공유 설정을 변경하여 연결 공유를 허용하지 않도록 조정한 후 문제를 해결했습니다.

구체적인 단계별 지침은 아래를 따르세요.

1. Windows 키 + R을 눌러 실행(Run) 대화 상자를 엽니다. 텍스트 상자에 'ncpa.cpl'을 입력하고 Enter 키를 눌러 네트워크 연결(Network Connections) 탭을 엽니다. UAC(사용자 계정 컨트롤) 메시지가 표시되면 예를 클릭해 관리자 권한을 부여합니다.
2. 네트워크 연결 탭에서 네트워크 어댑터 목록을 살펴보고, 핫스팟 네트워크 호스팅을 위해 생성된 어댑터를 찾습니다. 일반적으로 Microsoft Hosted Network Virtual Adapter라는 이름으로 되어 있습니다.
3. 올바른 네트워크 어댑터를 찾으면 마우스 오른쪽 버튼으로 클릭하고 나타나는 컨텍스트 메뉴에서 속성(Properties)을 선택합니다.
   
   참고: UAC(사용자 계정 컨트롤) 메시지가 표시되면 예를 클릭해 관리자 권한을 부여합니다.
4. Microsoft Hosted Network Virtual Adapter의 속성 창에서 상단 메뉴의 공유(Sharing) 탭에 접속한 후, '다른 네트워크 사용자가 이 컴퓨터의 인터넷 연결을 통해 연결할 수 있도록 허용' 체크박스의 선택을 해제합니다.
5. 마지막으로 확인을 클릭해 변경 사항을 저장한 후 컴퓨터를 재시작합니다.
6. 핫스팟 네트워크를 다시 시작해 문제가 해결되었는지 확인합니다.

동일한 문제가 여전히 발생한다면, 아래의 마지막 해결 방법으로 넘어가세요.

6. 레지스트리 편집기로 IE 오프라인 작업 모드 비활성화하기

위의 방법들이 모두 효과가 없었다면, Internet Explorer가 '오프라인 작업 모드'로 구성되어 있어 문제가 발생했을 가능성도 있습니다. IE의 오프라인 모드는 Cisco AnyConnect를 포함한 다양한 VPN 프로그램과 충돌하는 것으로 악명 높습니다.

Microsoft가 이 기본 동작을 변경하는 옵션을 제거하고 온라인 모드를 기본값으로 설정했다면 문제가 되지 않겠지만, 실제로는 그렇지 않습니다.

GUI 메뉴에서 이 설정을 변경할 수 있는 옵션이 더 이상 없기 때문에, 레지스트리 수정을 통해 해결해야 합니다.

아래 지침에 따라 레지스트리 편집기를 통해 Internet Explorer의 오프라인 작업 모드를 비활성화하세요.

1. Windows 키 + R을 눌러 실행(Run) 대화 상자를 엽니다. 그런 다음 'regedit'를 입력하고 Ctrl + Shift + Enter를 눌러 관리자 권한으로 레지스트리 편집기를 엽니다. UAC(사용자 계정 컨트롤) 메시지가 표시되면 예를 클릭해 관리자 권한을 부여합니다.
2. 레지스트리 편집기에서 좌측 메뉴를 이용해 다음 위치로 이동합니다.

   HKEY_CURRENT_USER\Software\Microsoft\Windows\CurrentVersion\Internet Settings

   
   참고: 해당 위치로 직접 이동하거나, 경로를 탐색 표시줄에 붙여넣고 Enter 키를 눌러 즉시 이동할 수도 있습니다.
3. 올바른 위치에 도달하면 우측 섹션으로 이동하여 GlobalUserOffline DWORD 키를 찾습니다.
4. 해당 키를 찾으면 더블클릭하고 Base를 16진수(Hexadecimal)로, 값을 0으로 설정한 후 확인을 클릭해 변경 사항을 저장합니다.
5. 컴퓨터를 재시작하고, 다음 부팅이 완료된 후 문제가 해결되었는지 확인합니다.