VMware Workstation에서 '이 PC에서 Windows 11을 실행할 수 없음' 오류 해결하는 3가지 방법

Windows 11은 Windows 10 사용자에게 무료로 제공되는 업그레이드지만, TPM 2.0과 보안 부팅 같은 엄격한 하드웨어 요구 사항이 있습니다. 이 때문에 VMware Workstation에 게스트 OS로 Windows 11을 설치하려는 경우 "이 PC에서 Windows 11을 실행할 수 없습니다"라는 오류 메시지를 만나게 될 수 있습니다.

다행히 몇 가지 간단한 설정 변경만으로 이 오류를 우회하고 VMware Workstation Player, Pro, Fusion 어디서든 Windows 11을 정상적으로 설치할 수 있습니다. 이 글에서는 그 방법을 단계별로 자세히 안내해 드립니다.

VMware Workstation에서 '이 PC에서 Windows 11을 실행할 수 없음' 오류가 발생하는 이유

Windows 11을 설치하려면 PC가 TPM 2.0(신뢰할 수 있는 플랫폼 모듈)과 보안 부팅(Secure Boot) 요구 사항을 충족해야 합니다. 호스트 PC가 이 조건을 만족하더라도, VMware Workstation Player는 기본적으로 가상 머신에 TPM 기능을 지원하지 않기 때문에 설치 과정에서 오류가 발생합니다.

하지만 Windows 레지스트리를 수정하거나 가상 머신의 VMX 파일을 편집하면 이 제한을 쉽게 우회할 수 있습니다. 또한 VMware Workstation Pro를 사용 중이라면 가상 머신을 암호화한 후 VTPM(가상 신뢰 플랫폼 모듈)을 추가하는 정식 방법도 사용할 수 있습니다.

아래에서 VMware Workstation Pro, Fusion, Player에서 이 오류를 해결할 수 있는 세 가지 방법을 모두 소개합니다.

참고로 이 가이드는 VMware Workstation 기반의 가상 머신에만 적용됩니다. 물리적인 실제 PC에서 동일한 오류가 발생했다면, 실제 시스템용 "이 PC에서 Windows 11을 실행할 수 없음" 오류 해결 가이드를 참고하시기 바랍니다.

1. 가상 머신에 TPM 2.0 활성화하기 (VMware Workstation Pro)

VMware Workstation Pro를 사용하고 있다면, 가상 머신을 암호화한 후 가상 TPM(Trusted Platform Module)을 추가하여 오류를 해결할 수 있습니다.

VMware Workstation Player를 사용 중이라면 이 방법은 건너뛰고, 아래의 레지스트리 수정 또는 VMX 파일 편집 방법을 이용하세요.

가상 머신을 암호화하고 TPM을 추가하는 절차는 다음과 같습니다.

1. VMware Workstation Pro를 실행합니다. 가상 머신이 없다면 새로 생성합니다.
2. 가상 머신을 선택하고 마우스 오른쪽 버튼을 클릭한 후 설정(Settings)을 선택합니다.
3. 설정 창에서 옵션(Options) 탭을 엽니다.
4. 왼쪽 패널에서 액세스 제어(Access Control) 항목을 선택합니다.
5. 오른쪽 패널에서 암호화(Encrypt) 버튼을 클릭합니다.
6. 암호화 비밀번호를 입력하고 확인을 위해 한 번 더 입력합니다. 이 비밀번호는 가상 머신에 접근할 때 필요하므로 반드시 안전한 곳에 보관하세요.
7. 암호화(Encrypt) 버튼을 클릭하고 암호화가 완료될 때까지 기다립니다.
8. 완료되면 확인(OK)을 클릭해 변경 사항을 저장합니다.
9. 이제 가상 머신에 TPM을 추가할 차례입니다. 암호화된 가상 머신을 마우스 오른쪽 버튼으로 클릭하고 설정(Settings)을 선택합니다.
10. 하드웨어(Hardware) 탭에서 추가(Add) 버튼을 클릭합니다.
11. 하드웨어 유형(Hardware Type) 창에서 Trusted Platform Module을 선택합니다.
12. 마침(Finish) 버튼을 클릭하면 가상 TPM이 가상 머신에 추가됩니다.
13. 설정 창의 요약(Summary) 열에서 Trusted Platform Module이 있음(Present)으로 표시되는지 확인합니다.
14. 확인(OK)을 클릭해 변경 사항을 저장합니다.

이제 시스템 요구 사항 오류 없이 VMware Workstation Pro에 Windows 11을 설치할 수 있습니다.

2. VMX 파일을 편집하여 VTPM 추가하기

'이 PC에서 Windows 11을 실행할 수 없음' 오류를 해결하는 가장 간단한 방법은 가상 머신의 VMX 파일을 편집해 VTPM(가상 신뢰 플랫폼 모듈)을 추가하는 것입니다. 이 방법은 Pro, Player, Fusion 등 모든 버전의 VMware Workstation에서 작동합니다.

VMX 파일을 편집해 이 기능을 활성화하는 방법은 다음과 같습니다.

1. VMware Workstation을 실행합니다. 가상 머신이 없다면 새로 생성하고, 실행 중인 가상 머신이 있다면 모두 종료합니다.
2. 가상 머신을 마우스 오른쪽 버튼으로 클릭하고 설정(Settings)을 선택합니다.
3. 설정 창에서 옵션(Options) 탭을 엽니다.
4. 오른쪽 패널에서 작업 디렉터리(Working directory)를 찾습니다. 이 경로가 가상 머신의 VMX 파일이 위치한 곳입니다. 작업 디렉터리 경로를 복사해 둡니다.
5. 확인(OK)을 클릭해 설정 창을 닫습니다.
6. Win + E 키를 눌러 파일 탐색기를 열고 복사한 작업 디렉터리 경로로 이동합니다. 경로는 가상 머신 설치 위치에 따라 다를 수 있으며, 기본 경로는 대체로 다음과 같습니다.

   C:\Users\사용자이름\Documents\Virtual Machines\Windows 10 and later x64

7. Windows 10 and later x64 폴더에서 Windows 10 and later x64.vmx 파일을 찾습니다.
8. .vmx 파일을 마우스 오른쪽 버튼으로 클릭하고 연결 프로그램 > 메모장을 선택합니다. Notepad++ 같은 다른 텍스트 편집기를 사용해도 좋습니다.
9. 파일이 메모장에서 열리면 맨 끝에 다음 줄을 추가합니다.

   managedVM.autoAddVTPM = "software"

10. Ctrl + S를 눌러 파일을 저장하고 메모장을 닫습니다.
11. 파일 수정이 완료되면 VMware Workstation, Fusion 또는 Player를 재시작합니다.
12. 재시작 후 가상 머신을 켜고 Windows 11 설치를 진행합니다. 이제 TPM 검사를 우회하여 설치를 정상적으로 완료할 수 있을 것입니다.

3. 레지스트리 수정으로 TPM 검사 우회하기

또 다른 방법은 Windows 레지스트리에 새 항목을 추가·수정하는 것입니다. 이를 통해 VMware Workstation에서 최소 시스템 요구 사항 관련 오류를 우회할 수 있습니다.

이 방법은 화면에 시스템 요구 사항 오류 메시지가 나타나는 시점에 레지스트리를 편집하는 방식입니다. 절차는 다음과 같습니다.

1. 가상 머신을 구성하고 Windows 11 설치를 진행합니다.
2. VMware Workstation에서 Windows 11을 설치하는 도중, 시스템 요구 사항 미충족으로 인해 이 PC에서 Windows 11을 실행할 수 없음 오류가 설치를 막는 것을 확인할 수 있습니다.
3. 오류 메시지가 나타나면 키보드에서 Shift + F10을 눌러 명령 프롬프트를 실행합니다.
4. 명령 프롬프트 창에 다음 명령을 입력하고 Enter를 눌러 레지스트리 편집기를 실행합니다.

   regedit

5. 레지스트리 편집기에서 다음 위치로 이동합니다.

   HKEY_LOCAL_MACHINE\SYSTEM\Setup

6. Setup 키를 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 > 키를 선택합니다.
7. 새 키의 이름을 BypassTPMCheck로 변경합니다.
8. BypassTPMCheck 키를 마우스 오른쪽 버튼으로 클릭하고 새로 만들기 > DWORD(32비트) 값을 선택합니다.
9. 새 DWORD 값의 이름을 LabConfig로 변경합니다.
10. LabConfig 값을 마우스 오른쪽 버튼으로 클릭하고 수정(Modify)을 선택합니다.
11. 값 데이터 필드에 1을 입력하고 확인(OK)을 클릭해 변경 사항을 저장합니다.
12. 완료되면 레지스트리 편집기를 닫습니다.
13. 명령 프롬프트에 exit를 입력하고 Enter를 눌러 명령 프롬프트를 종료합니다.
14. 이제 오류 화면이 있는 Windows 설치 창으로 돌아옵니다. 화면 왼쪽 상단의 뒤로(Back) 버튼(뒤로 화살표 아이콘)을 클릭합니다.
15. 설치하려는 Windows 에디션을 선택하고 다음(Next)을 클릭합니다.
16. 이제 오류 없이 Windows 11 설치를 계속 진행할 수 있습니다.

마무리: VMware Workstation에서 TPM 2.0 요구 사항 우회하기

VMware Workstation Pro 사용자라면 가상 머신 암호화와 Trusted Platform Module 추가를 통해 TPM 2.0 시스템 요구 사항을 손쉽게 우회할 수 있습니다.

반면 가상 머신을 암호화하고 싶지 않거나 Workstation Player를 사용하는 경우에는 레지스트리 수정 또는 VMX 파일 편집 방법을 활용해 신뢰 플랫폼 모듈 요구 사항을 우회하면 됩니다. 세 가지 방법 모두 효과적이니, 본인의 환경과 사용 중인 VMware 버전에 맞는 방법을 선택해 적용해 보시기 바랍니다.