Windows 7/10에서 VPN 오류 789가 발생하는 이유와 해결 방법 총정리

'VPN 원격 액세스 오류 789'는 주로 개인용 PC에서 사용자가 홈 네트워크 환경에서 Windows에 내장된 기능으로 VPN에 연결하려고 할 때 발생하는 오류입니다.

참고: VPN 오류 169가 발생하는 경우라면 별도의 해결 방법이 필요합니다.

Windows 7 및 10에서 '오류 코드 789'가 나타나는 원인

• 네트워크 불일치 문제 – 네트워크 상태의 불일치로 인해 이 오류 메시지가 나타날 수 있습니다. 대부분의 경우 네트워크 어댑터가 비정상적인 상태(리모 상태)에 멈춰 있어 VPN 연결 자체가 성립되지 않는 것이 원인입니다. 이런 경우 네트워크 어댑터를 초기화하여 운영체제가 네트워크 드라이버를 다시 설치하도록 하면 문제를 해결할 수 있습니다.
• 캡슐화 레지스트리 키 누락 – VPN 연결이 자주 끊기거나 연결 시도가 반복적으로 실패한다면 AssumeUDPEncapsulationContextOnSendRule이라는 레지스트리 키가 없기 때문일 가능성이 높습니다. 이 경우 레지스트리 편집기를 통해 해당 키를 직접 생성하고 구성하면 문제를 해결할 수 있습니다.
• 서드파티 방화벽 간섭 – 과도하게 보안에 민감하게 작동하는 방화벽이 VPN 연결에서 실제로 사용 중인 특정 포트를 차단하면서 이 오류가 발생하기도 합니다. 이 경우 예외 규칙을 추가하거나 서드파티 방화벽을 제거하면 문제를 해결할 수 있습니다.
• IPsec 키 모듈 및 정책 에이전트 비활성화 – 직접 호스팅(self-hosted) 방식의 VPN을 사용한다면 이 두 가지 서비스는 필수입니다. 이 서비스들이 꺼져 있으면 연결 자체가 불가능합니다. 서비스 화면에서 두 서비스가 활성화되어 있고 시작 유형이 '자동'으로 설정되어 있는지 확인하면 문제를 해결할 수 있습니다.

'VPN 원격 액세스 오류 789' 해결 방법

방법 1: 네트워크 어댑터 재설정

경우에 따라 'VPN 원격 액세스 오류 789'는 비정상 상태에 머물러 있는 네트워크 어댑터로 인한 네트워크 불일치 문제와 관련이 있습니다. 이런 상황에서는 VPN 구성이 연결 설정에 필요한 데이터를 정상적으로 가져올 수 없습니다.

해당 사례에 해당한다면 장치 관리자를 통해 네트워크 어댑터를 제거하고, 다음 시스템 시작 시 운영체제가 드라이버를 처음부터 다시 설치하도록 만들어 문제를 해결할 수 있습니다.

아래는 이를 수행하는 방법입니다:

참고: 아래 단계는 Windows 버전에 관계없이 동일하게 적용됩니다.

1. Windows 키 + R을 눌러 실행(Run) 대화상자를 엽니다. 입력란에 'devmgmt.msc'를 입력한 후 Enter 키를 눌러 장치 관리자를 실행합니다. UAC(사용자 계정 컨트롤) 창이 나타나면 예를 클릭하여 관리자 권한을 부여합니다.
2. 장치 관리자에 진입하면 장치 목록을 스크롤하여 네트워크 어댑터 항목을 펼칩니다. 그다음 네트워크 어댑터를 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 디바이스 제거를 선택합니다.
3. 확인 메시지에서 예를 클릭하고 프로세스가 완료될 때까지 기다립니다.
4. 네트워크 어댑터 제거가 완료되면 컴퓨터를 재시작하여 다음 부팅 시점에 네트워크 드라이버가 다시 설치되도록 합니다.

동일한 문제가 여전히 발생한다면 아래의 다음 방법으로 넘어가세요.

방법 2: UDP 캡슐화 레지스트리 키 생성

L2TP 기반 VPN 클라이언트 또는 NAT(Network Address Translation, 네트워크 주소 변환) 뒤에 위치한 VPN 서버에서 이 문제가 발생한다면, AssumeUDPEncapsulationContextOnSendRule 레지스트리 값을 생성하기 전에는 안정적인 연결을 확보할 수 없습니다.

연결이 자주 끊기거나 접속 시도가 실패한다면, 사용 중인 VPN 클라이언트가 기본적으로 NAT 환경에서 작동하도록 구성되어 있지 않기 때문일 가능성이 큽니다. 정상적으로 작동하게 하려면 AssumeUDPEncapsulationContextOnSendRule 레지스트리 값을 생성하고 구성해야 합니다.

아래는 'VPN 원격 액세스 오류 789'를 해결하기 위해 해당 레지스트리 값을 생성·구성하는 방법입니다:

1. Windows 키 + R을 눌러 실행 대화상자를 엽니다. 'regedit'를 입력하고 Enter 키를 눌러 레지스트리 편집기를 실행합니다. UAC(사용자 계정 컨트롤) 프롬프트가 나타나면 예를 클릭하여 관리자 권한을 부여합니다.
2. 레지스트리 편집기에서 왼쪽 탐색 영역을 이용해 다음 경로로 이동합니다:

   HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\PolicyAgent

   참고: 직접 폴더를 따라 이동할 수도 있고, 주소를 상단 탐색 표시줄에 붙여넣어 즉시 이동할 수도 있습니다.

3. 올바른 위치에 도달했다면 오른쪽 영역으로 이동하여 빈 공간을 마우스 오른쪽 버튼으로 클릭하고 새로 나타난 컨텍스트 메뉴에서 새로 만들기를 선택합니다. 그런 다음 목록에서 DWORD(32비트) 값을 선택합니다.
4. 새로 생성된 DWORD 값의 이름을 AssumeUDPEncapsulationContextOnSendRule로 지정하고 Enter 키를 눌러 변경 사항을 저장합니다.
5. 값이 정상적으로 생성되면 해당 값을 더블클릭한 후 기수(Base)를 16진수(Hexadecimal)로, 값 데이터(Value data)를 2로 설정합니다.

   참고: 이 수정은 Windows가 NAT 서버 뒤에 있는 서버 및 다른 운영체제와 보안 연결(Security Association)을 맺을 수 있도록 보장합니다.

6. 확인을 클릭하여 변경 사항을 저장한 후 컴퓨터를 재시작하고, 이 수정으로 문제가 해결되었는지 확인합니다.

동일한 문제가 계속된다면 아래의 다음 해결 방법으로 넘어가세요.

방법 3: 서드파티 방화벽 비활성화

서버 환경에서 이 문제가 발생하고 서드파티 방화벽을 사용 중이라면, 방화벽이 VPN 연결에서 실제 사용 중인 포트를 차단하고 있을 가능성이 높습니다. 일반적으로 500번과 4500번 포트가 외부 장치와의 통신에서 가장 많이 차단됩니다.

해당 사례에 해당한다면 관련 포트를 허용 목록(화이트리스트)에 등록해야만 문제를 해결할 수 있습니다. 다만 이 방법은 방화벽 설정에 익숙하고 VPN 솔루션이 실제로 사용하는 포트 번호를 알고 있을 때만 적용할 수 있습니다.

또한 보안 예외 규칙을 설정하는 절차는 서드파티 방화벽 제품마다 다르므로, 필요하다면 사용 중인 제품에 맞는 구체적인 설정 방법을 온라인에서 검색하는 것이 좋습니다.

하지만 빠르고 확실한 해결책을 원한다면 서드파티 방화벽을 완전히 제거한 후 재시작하여 문제가 해결되는지 확인하는 것이 가장 좋습니다.

아래는 'VPN 원격 액세스 오류 789'를 해결하기 위해 서드파티 방화벽을 제거하는 방법입니다:

1. Windows 키 + R을 눌러 실행 창을 엽니다. 'appwiz.cpl'을 입력하고 Enter 키를 눌러 프로그램 및 기능 메뉴를 엽니다.
2. 프로그램 및 기능 메뉴에서 설치된 프로그램 목록을 스크롤하여 사용 중인 서드파티 방화벽을 찾습니다. 해당 프로그램을 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 제거를 선택합니다.
3. 제거 마법사의 화면 안내에 따라 프로세스를 완료한 후, 컴퓨터를 재시작하여 작업을 마무리합니다.
   참고: 잔여 파일이 남아 동일한 문제를 일으키는 것을 방지하려면, 최근에 제거한 보안 프로그램이 남긴 파일까지 완전히 삭제하는 것을 권장합니다.
4. VPN에 다시 연결을 시도하여 문제가 해결되었는지 확인합니다.

VPN 연결이 여전히 동일한 'VPN 원격 액세스 오류 789'로 중단된다면, 아래의 마지막 방법으로 넘어가세요.

방법 4: IPsec 키 모듈 및 정책 에이전트 활성화

여러 사용자들의 보고에 따르면, 직접 호스팅 VPN에 필수적인 두 가지 서비스가 비활성화되어 있어도 이 오류 메시지가 나타날 수 있습니다. 이 서비스들이 없으면 VPN 연결 자체가 불가능합니다.

해당 사례에 해당한다면 서비스 화면에 접근하여 이 작업에 필수적인 두 개의 서비스('IKE and AuthIP IPsec Keying Modules'와 'IPsec Policy Agent')를 활성화함으로써 문제를 해결할 수 있습니다.

아래는 'VPN 원격 액세스 오류 789'를 해결하기 위한 구체적인 절차입니다:

1. Windows 키 + R을 눌러 실행 대화상자를 엽니다. 'services.msc'를 입력하고 Enter 키를 눌러 서비스 화면을 엽니다.

   참고: UAC(사용자 계정 컨트롤) 프롬프트가 나타나면 예를 클릭하여 관리자 권한을 부여합니다.

2. 서비스 화면에서 서비스 목록을 스크롤하여 먼저 IKE and AuthIP IPsec Keying Modules 서비스를 찾습니다.
3. 해당 서비스를 찾았다면 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 속성을 선택합니다.
4. IKE and AuthIP IPsec Keying Modules 속성 화면에서 일반 탭을 선택하고 시작 유형을 자동으로 변경합니다. 그런 다음 시작 버튼을 클릭하여 서비스를 구동하고, 적용을 눌러 변경 사항을 저장합니다.
5. 다시 서비스 목록을 스크롤하여 IPsec Policy Agent를 찾습니다. 해당 항목을 마우스 오른쪽 버튼으로 클릭하고 컨텍스트 메뉴에서 속성을 선택합니다.
6. IPsec Policy Agent 속성 화면에서 일반 탭을 선택하고 시작 유형을 자동으로 변경한 후 시작 버튼을 클릭하여 서비스를 구동합니다. 앞선 경우와 마찬가지로 적용을 클릭하여 변경 사항을 저장합니다.
7. VPN 연결을 다시 시도하여 동일한 오류 메시지가 여전히 나타나는지 확인합니다.