[해결 방법] Windows 10에서 VirtualBox 'VT-x를 사용할 수 없음' 오류 완벽 해결하기

이 글에서는 Oracle VM VirtualBox에서 가상 머신을 실행하려고 할 때 나타나는 다음과 같은 오류를 해결하는 방법을 단계별로 안내합니다.

오류 메시지: "Failed to open a session for the virtual machine <가상머신 이름>. VT-x is not available (VERR_VMX_NO_VMX)" — Result Code: E_FAIL (0x80004005), Component: ConsoleWrap, Interface: IConsole {872da645-4a9b-1727-bee2-5585105b9eed}

이 오류는 Intel Core i7-8700처럼 분명히 인텔® 가상화 기술(Intel® Virtualization Technology, VT-x)을 지원하는 CPU를 사용 중인 시스템에서도 발생할 수 있습니다. 실제로 이 오류가 발생한 Windows 10 Pro 환경(기가바이트 Z370 HD3P 메인보드)에서는 SecurAble 도구조차 하드웨어 가상화가 지원되지 않는 것으로 표시했습니다. 즉, CPU가 가상화를 지원함에도 불구하고 BIOS 설정이나 Windows의 다른 기능 때문에 VT-x가 비활성화된 상태라는 의미입니다.

VirtualBox 'VT-x를 사용할 수 없음' 오류 해결 방법

시작 전 확인 사항: 아래 단계를 진행하기 전에 설치된 CPU가 다음 기능을 지원하는지 반드시 확인하세요.

a. 가상화 기술(Virtualization Technology)
b. 하드웨어 데이터 실행 방지(DEP)**

참고:

* 시스템이 가상화 요구 사항을 충족하는지 쉽게 확인하려면 SecurAble 도구를 사용하는 것이 좋습니다. 무료로 제공되며 실행만 하면 CPU의 가상화 지원 여부를 바로 알려줍니다.

** 데이터 실행 방지(DEP) 기능은 AMD 프로세서에서는 NX(No Execute), 인텔 프로세서에서는 XD(Execute Disable)라고도 불립니다.

1단계. BIOS에서 하드웨어 가상화 활성화

1. 가장 먼저 BIOS 설정에서 가상화 기술(Virtualization Technology)을 활성화해야 합니다. 시스템을 재시작하고 BIOS 설정 화면으로 진입하세요(일반적으로 부팅 시 Delete, F2 또는 F12 키를 누르면 됩니다). 그다음 아래 안내에 따라 설정하세요.

A. 인텔(Intel) CPU 사용자:

• Advanced(고급) 탭으로 이동한 후 Virtualization 항목(또는 "Intel® Virtualization Technology (VT-x)")을 찾아 Enable(활성화)로 변경합니다.

* 참고: 메인보드 제조사에 따라 가상화 설정이 Performance(성능) 옵션 아래에 위치하는 경우도 있습니다.

B. AMD CPU 사용자:

• M.I.T 탭 → Advanced Frequency Settings → Advanced Core Settings로 이동한 후 SVM Mode(Secure Virtual Machine)를 Enable(활성화)로 설정합니다.

2. BIOS 설정을 저장(Save and Exit)하고 종료합니다.
3. VirtualBox에서 가상 머신을 다시 시작해 보세요. 동일한 오류가 계속 발생한다면 아래 2단계를 계속 진행하세요.

2단계. Hyper-V 비활성화 *

* 참고: 이 단계는 Windows 10 Pro(Professional) 및 Enterprise 버전에만 해당됩니다.

1. Windows 제어판(Control Panel)을 열고 프로그램 및 기능(Programs and Features)으로 이동합니다.
2. 좌측 메뉴에서 Windows 기능 켜기/끄기(Turn Windows features on or off)를 클릭합니다.

3. 목록에서 Hyper-V 항목의 체크를 해제한 후 확인(OK)을 클릭합니다. *

* 참고: Hyper-V가 이미 비활성화되어 있는 경우에도 오류가 발생한다면 다음 방법을 시도해 보세요. 먼저 Hyper-V를 활성화한 뒤 컴퓨터를 재시작하고, 다시 Hyper-V를 비활성화한 후 한 번 더 재시작합니다. 이 과정을 통해 Hyper-V 관련 구성 요소가 완전히 초기화될 수 있습니다.

4. 기능 제거 작업이 완료되면 컴퓨터를 재시작합니다.

5. 재시작 후 관리자 권한으로 명령 프롬프트(Command Prompt as Administrator)를 실행합니다. (시작 메뉴에서 "cmd"를 검색한 후 마우스 오른쪽 버튼을 클릭하고 "관리자 권한으로 실행"을 선택하세요.)
6. 다음 명령어를 입력하고 Enter 키를 누릅니다.

• bcdedit /set hypervisorlaunchtype off

이 명령은 Windows 부팅 시 하이퍼바이저(Hypervisor)가 자동으로 시작되지 않도록 설정하여, VirtualBox가 CPU의 가상화 기능에 직접 접근할 수 있게 해줍니다.

7. PC를 재부팅합니다.
8. 재부팅이 완료되면 VirtualBox에서 가상 머신(VM)을 다시 시작해 보세요.

마무리

위 두 단계(BIOS에서 가상화 활성화 + Hyper-V 비활성화)를 통해 대부분의 "VT-x is not available" 오류는 해결됩니다. 만약 여전히 문제가 발생한다면, 메인보드 펌웨어(BIOS/UEFI)를 최신 버전으로 업데이트하거나, Windows 보안 설정의 코어 격리(Core Isolation) 및 메모리 무결성(Memory Integrity) 기능을 비활성화하는 것도 추가로 고려해 볼 수 있습니다.

이 가이드가 문제 해결에 도움이 되었기를 바랍니다. 경험과 결과를 댓글로 공유해 주시고, 다른 사용자에게도 도움이 되도록 좋아요와 공유 부탁드립니다!