원격 데스크톱(Remote Desktop)은 Windows에 내장된 기능으로, 물리적으로 떨어져 있는 다른 컴퓨터에 연결하여 원격으로 작업할 수 있게 해주는 소프트웨어입니다. 그런데 원격 데스크톱으로 원격 컴퓨터에 접속하려고 할 때 다음과 같은 오류 메시지가 나타나는 경우가 있습니다.
"원격 데스크톱에서 원격 컴퓨터에 연결할 수 없습니다. 원격 컴퓨터에서 연결이 거부되었습니다."
원인은 다음 중 하나일 수 있습니다.
- 서버에 대한 원격 액세스가 활성화되어 있지 않음
- 원격 컴퓨터의 전원이 꺼져 있음
- 네트워크에서 원격 컴퓨터를 찾을 수 없음
원격 컴퓨터의 전원이 켜져 있고 네트워크에 연결되어 있으며, 원격 액세스가 활성화되어 있는지 확인하세요.
이 문제는 사용자 권한, 네트워크 설정, 그룹 정책 등 여러 가지 원인으로 발생할 수 있습니다. 특히 계정에 충분한 권한이 없는 경우가 흔한 원인이며, 때로는 연결을 시도하는 쪽 컴퓨터에서 연결 자체가 시작되지 못하는 경우도 있습니다. 이 글에서는 이러한 문제를 단계별로 해결하는 방법을 안내합니다.
원격 데스크톱 연결 오류 해결 방법
아래 방법들을 순서대로 하나씩 적용해 보면서, 각 단계마다 문제가 해결되었는지 확인하세요. 일부 작업에는 관리자 권한이 필요합니다.
- 원격 컴퓨터의 RDP 프로토콜 상태 확인
- 그룹 정책 개체(GPO)가 RDP를 차단하고 있는지 확인
- RDP 관련 서비스 상태 확인
- 다른 응용 프로그램이 동일한 포트를 사용 중인지 확인
- 방화벽이 RDP 포트를 차단하고 있는지 확인
- RDP 수신기(Listener) 포트 확인
- 다른 컴퓨터의 레지스트리로 복구
1] 원격 컴퓨터의 RDP 프로토콜 상태 확인
RDP 프로토콜에는 이를 활성화하거나 비활성화하는 레지스트리 항목이 있으며, 원격 데스크톱 앱이 연결을 만들려면 반드시 활성화되어 있어야 합니다. 레지스트리를 수정하기 전에 반드시 백업을 먼저 진행하세요.
Win + R 키를 눌러 실행 창을 열고 regedit를 입력한 후 Enter 키를 누릅니다. 그런 다음 아래 경로로 이동합니다.
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server
fDenyTSConnections라는 DWORD 값을 더블클릭하고 값을 0으로 변경하면 RDP가 활성화됩니다.
2] 그룹 정책(GPO)이 RDP를 차단하는지 확인
그룹 정책 편집기를 열고 다음 경로로 이동합니다.
컴퓨터 구성 > 관리 템플릿 > Windows 구성 요소 > 원격 데스크톱 서비스 > 원격 데스크톱 세션 호스트 > 연결
"사용자가 원격 데스크톱 서비스를 사용하여 원격으로 연결할 수 있도록 허용"이라는 정책을 찾아 사용(Enabled)으로 설정합니다.
문제가 발생하는 컴퓨터에서 명령 프롬프트를 관리자 권한으로 실행한 후, 다음 명령어를 입력하여 정책을 즉시 적용합니다.
gpupdate /force
3] RDP 관련 서비스 상태 확인
RDP와 관련된 서비스는 클라이언트와 원격 컴퓨터 양쪽 모두에서 실행 중이어야 합니다. 핵심 서비스는 다음 두 가지입니다.
- Remote Desktop Services (TermService)
- Remote Desktop Services UserMode Port Redirector (UmRdpService)
실행 창(Win + R)에 services.msc를 입력하고 Enter 키를 눌러 서비스 창을 엽니다.
서비스 목록에서 위 두 서비스를 찾아 실행 중인지 확인하고, 실행 중이 아니라면 시작합니다. 또한 서비스 속성에서 시작 유형을 자동으로 설정하여 컴퓨터 부팅 시 함께 시작되도록 하는 것이 좋습니다.
4] 다른 응용 프로그램이 동일한 포트를 사용하는지 확인
RDP는 기본적으로 3389번 포트를 사용합니다. 다른 응용 프로그램이 이 포트를 이미 사용하고 있다면 원격 데스크톱 연결이 실패하게 됩니다.
관리자 권한으로 PowerShell을 실행하고 다음 명령어를 입력합니다.
cmd /c netstat -ano
출력 결과에서 3389 포트를 참조하는 항목을 찾고, 해당 프로세스의 PID(프로세스 ID)를 메모해 둡니다.
작업 관리자를 열고 열 머리글을 마우스 오른쪽 버튼으로 클릭하여 PID 항목을 추가합니다. 그런 다음 명령어로 확인한 PID와 일치하는 프로세스를 찾습니다.
만약 해당 프로세스가 원격 데스크톱이 아니라면 다음과 같은 선택지가 있습니다.
- 원격 데스크톱의 포트 번호를 변경하기
- 해당 포트를 사용 중인 응용 프로그램을 제거하거나 비활성화하기
- 해당 응용 프로그램이 사용하는 포트를 다른 포트로 변경하기
작업을 마친 후에는 반드시 RDP 서비스를 재시작하세요.
5] 방화벽이 RDP 포트를 차단하는지 확인
Sysinternals에서 제공하는 PSPing 도구를 사용하면 특정 포트를 통해 컴퓨터에 접근 가능한지 확인할 수 있으며, 열려 있는 포트 목록을 점검하는 용도로도 활용됩니다.
- Sysinternals 웹사이트에서 PSPing 도구를 다운로드합니다.
- 명령 프롬프트를 엽니다.
- 다운로드한 파일이 있는 폴더로 이동합니다.
- 다음 명령어를 실행합니다.
psping -accepteula <컴퓨터 IP>:3389
실행 결과에 "원격 컴퓨터가 연결을 거부했습니다" 또는 "모든 연결 시도가 실패했습니다"라는 메시지가 표시된다면, 해당 포트가 컴퓨터의 방화벽에서 차단되고 있는 것이므로 방화벽의 포트 제한 규칙을 점검하고 예외를 추가해야 합니다.
6] RDP 수신기(Listener) 포트 확인
RDP는 3389번 포트를 사용하며, 연결이 설정되지 않는다면 양쪽 컴퓨터 모두에서 포트 설정이 올바르게 되어 있는지 확인해야 합니다. 이번에는 레지스트리를 수정하므로 반드시 백업을 먼저 진행하세요.
- 실행 창(Win + R)에 regedit를 입력하고 Enter 키를 누릅니다.
- 다음 경로로 이동합니다.
Computer\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp
- PortNumber(DWORD) 값을 찾아 더블클릭하고 값이 3389로 설정되어 있는지 확인합니다.
- 원격 데스크톱 서비스를 재시작합니다.
- 원격 컴퓨터에 연결이 가능한지 확인합니다.
이 과정은 클라이언트와 원격 컴퓨터 양쪽 모두에서 동일하게 수행해야 합니다.
7] 다른 컴퓨터의 레지스트리로 복구
원격 연결이 정상적으로 작동하는 다른 컴퓨터가 있다면, 그 컴퓨터의 RDP 관련 레지스트리 키를 내보내서(Export) 문제가 발생하는 컴퓨터에 가져오기(Import)하는 방법으로 복구할 수 있습니다.
[원격 연결이 정상 작동하는 컴퓨터에서]
레지스트리 편집기를 열고 다음 경로로 이동합니다.
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Terminal Server\WinStations\RDP-Tcp
RDP-Tcp 키를 마우스 오른쪽 버튼으로 클릭하고 내보내기를 선택합니다. 이 파일에는 해당 키 안의 모든 설정이 포함됩니다.
[원격 연결이 작동하지 않는 컴퓨터에서]
- 위에서 내보낸 파일을 복사하여 바탕 화면에 저장합니다.
- 레지스트리 편집기를 열고 파일 > 가져오기를 클릭합니다.
- 내보냈던 파일을 선택합니다.
- 병합 또는 덮어쓰기 확인 메시지가 나타나면 승인합니다.
완료한 후 원격 데스크톱 앱으로 연결이 가능한지 확인합니다.
이상으로 "원격 데스크톱에서 원격 컴퓨터에 연결할 수 없습니다" 오류를 해결하는 방법을 알아보았습니다. 레지스트리 수정 등 시스템 변경 작업을 진행하기 전에는 항상 컴퓨터와 레지스트리를 백업하는 것을 잊지 마세요.