가상 머신(VM)은 정말 놀라운 기술입니다. 가상화 프로그램을 이용하면 현재 사용 중인 시스템의 창 하나 안에서 자체 운영체제까지 갖춘 완전한 가상 컴퓨터를 실행할 수 있습니다. 가상 머신은 다양한 운영체제를 미리 체험하거나, 샌드박스 환경에서 프로그램을 안전하게 테스트하거나, 부작용 걱정 없이 새로운 기능을 실험해 볼 때 널리 활용됩니다. 다만 VMware나 Hyper-V 같은 가상화 프로그램이 정상적으로 작동하려면, 최근 대부분의 CPU에 내장되어 있는 하드웨어 가속 기술에 대한 접근 권한이 반드시 필요합니다.
인텔 CPU에 내장된 하드웨어 가속 기술은 인텔 VT-X(Intel VT-X), AMD CPU의 것은 AMD-V라고 불립니다. 많은 경우 인텔 프로세서에서는 VT-X가 기본적으로 비활성화되어 있습니다. 이런 상태에서 가상 머신을 구동하려고 하면, 가상화 프로그램이 '하드웨어 가속이 필요하지만 현재 비활성화되어 있다'는 의미의 오류 메시지를 출력합니다.
VT-X는 사용자가 언제든지 활성화하거나 비활성화할 수 있으며, 이를 위해서는 컴퓨터의 BIOS 또는 UEFI 설정에 진입하면 됩니다. 이는 윈도우 10을 포함해 마이크로소프트가 현재 지원하는 모든 윈도우 버전에 해당되는 사항입니다.
VT-X 활성화 과정은 해당 컴퓨터가 BIOS 기반인지 UEFI 기반인지에 따라 조금씩 달라집니다. 윈도우 8 이전 버전이 탑재된 상태로 출시된 컴퓨터는 거의 항상 BIOS를 사용하고, 윈도우 8 이후 버전이 설치된 상태로 나온 컴퓨터는 UEFI를 채택했을 가능성이 높습니다. 업계 표준이 점차 UEFI로 이동하고 있기 때문에, 컴퓨터가 새로울수록 UEFI일 확률이 높아집니다.
VT-X 비활성화 오류(Verr_Vmx_Msr_All_Vmx_Disabled)의 원인
다양한 사용자 사례와 해결 방법을 조사한 결과, 이 문제는 윈도우와 리눅스 양쪽 모두에서 발생하기 때문에 쉽게 해결되지 않는 경우가 많았습니다. 하지만 이 오류 메시지를 유발하는 것으로 확인된 몇 가지 공통적인 시나리오를 찾아낼 수 있었습니다:
- BIOS에서 가상화 기술(VT-X)이 비활성화됨 – 대부분의 경우 BIOS 수준에서 VT-X가 꺼져 있어 발생합니다. 64비트 호스트는 BIOS에서 가상화 기술(VTx)이 활성화되어 있어야 하며, 일부 시스템에서는 VTd(가상화 기술 다이렉티드 I/O)도 함께 켜야 합니다.
- CPU가 VT-X/AMD-V를 지원하지 않음 – 구형 CPU를 장착한 오래된 시스템이라면 애초에 가상화를 지원하지 않을 수 있습니다.
- 호스트 CPU에서 PAE/NX가 비활성화됨 – 가상 CPU가 PAE(물리 주소 확장) 및 NX와 함께 작동하도록 설정한 후 문제가 해결되었다는 사용자 보고가 여럿 있었습니다.
- 할당된 RAM이 부족하거나 시스템 성능을 초과함 – 기본 베이스 메모리(Base Memory) 값을 조정하여 문제를 완전히 해결한 사용자가 많았습니다.
- 서드파티 보안 프로그램이 VT-X/VT-d를 방해함 – 일부 서드파티 백신 클라이언트는 VirtualBox와 충돌하는 것으로 알려져 있습니다. 예외 규칙을 만들거나 백신을 완전히 제거하면 충돌이 해결됩니다.
현재 이 문제로 어려움을 겪고 있다면, 아래의 검증된 문제 해결 방법들을 순서대로 따라 해 보시기 바랍니다. 비슷한 상황의 다른 사용자들이 실제로 문제를 해결하는 데 사용한 방법들을 정리했습니다.
가장 좋은 결과를 얻으려면, 아래 방법들을 제시된 순서대로 시도하고 자신에게 맞는 해결책을 찾을 때까지 진행하세요.
방법 1: CPU가 VT-X/AMD-V를 지원하는지 확인
무엇보다 먼저, 문제가 발생한 시스템의 CPU가 VT-X(인텔) 또는 AMD-V(AMD)를 지원하는지 확인해야 합니다. CPU가 너무 오래되었다면 가상화를 지원하도록 설계되지 않았을 가능성이 있습니다.
CPU의 가상화 지원 여부를 확인하는 방법은 여러 가지가 있지만, 여기서는 가장 간편한 방법을 소개합니다. 무료 프로그램인 SecurAble을 사용하면 프로세서의 기능을 분석해 가상화 지원 여부를 알려줍니다.
SecurAble을 다운로드하고 사용하여 CPU의 가상화 지원 여부를 확인하는 방법은 다음과 같습니다:
- SecurAble 공식 페이지에 접속해 아래로 스크롤한 후 Download now(지금 다운로드)를 클릭합니다.
- 유틸리티가 다운로드되면 실행 파일을 열기만 하면 됩니다. UAC(사용자 계정 컨트롤) 창에서 예를 클릭하고 CPU 분석이 완료될 때까지 기다립니다.
- 결과가 표시되면 Hardware Virtualization(하드웨어 가상화) 항목 바로 위에 Yes가 표시되어 있는지 확인합니다.
하드웨어 가상화가 지원되는 것으로 확인되면, 아래 방법들 중 하나가 Verr_Vmx_Msr_All_Vmx_Disabled 오류를 해결해 줄 것입니다.
반면, 검사 결과 하드웨어 가상화를 지원하지 않는 것으로 나타났다면 아래의 방법들로는 문제를 해결할 수 없습니다. 이 경우 CPU 교체를 고려해야 할 수 있습니다.
방법 2: BIOS에서 가상화 기술(VTX) 활성화
64비트 호스트에서 이 문제가 발생했다면, BIOS 설정에서 가상화 기술(VTx)을 활성화해야 할 가능성이 높습니다. 일부 메인보드에서는 VTd(가상화 기술 다이렉티드 I/O)도 함께 활성화해야 합니다.
일부 메인보드는 이 옵션이 기본적으로 켜져 있지만, 사용자의 실수나 서드파티 프로그램의 개입으로 인해 비활성화될 수 있습니다.
참고: 윈도우 Hyper-V도 VT-x를 비활성화하는 원인이 될 수 있습니다.
VT-X 또는 AMD-V를 활성화하는 메뉴의 이름과 위치는 메인보드마다 다르지만, 전체적인 절차는 대체로 비슷합니다. BIOS 설정에서 VT-X 또는 AMD-V가 활성화되어 있는지 확인하는 방법은 다음과 같습니다:
- 컴퓨터를 켜고 Setup 키를 반복해서 눌러 BIOS에 진입합니다. Setup 키는 일반적으로 전원을 켠 직후 화면에 잠깐 표시됩니다. 표시되지 않는다면 F 키(F2, F4, F8, F10, F12) 또는 Del 키(Dell 컴퓨터)를 번갈아 눌러보세요.
참고: 인터넷에서 '*메인보드 모델명* BIOS 진입 키'로 검색하면 여러 조합을 시도하는 수고를 덜 수 있습니다. - BIOS 설정에 진입한 후 Security > System Security로 이동하여 Virtualization Technology (VTx) 및/또는 Virtualization Technology Directed I/O (VTd)를 활성화합니다.
참고: 메인보드에 따라 항목의 이름이나 위치가 다를 수 있습니다. 일부 BIOS 버전에서는 Advanced BIOS Features에서 Virtualization Technology를 활성화해야 하며, 인텔 기반 메인보드라면 Advanced > Intel(R) Virtualization Technology에서 설정할 수 있습니다. - 가상화 기술을 활성화한 후에는 현재 BIOS 설정을 저장하고 종료하여 컴퓨터가 재시작되도록 합니다.
- 재부팅 후 이전에 오류 메시지가 표시되었던 동일한 가상 머신을 열어 문제가 해결되었는지 확인합니다.
UEFI 기반 컴퓨터의 경우
- 설정 메뉴의 전원(Power) 옵션(윈도우 8/8.1) 또는 시작 메뉴(윈도우 10)로 이동합니다.
- 키보드에서 Shift 키를 길게 누릅니다.
- Shift 키를 누른 상태에서 다시 시작(Restart)을 클릭합니다. 그러면 컴퓨터가 부팅될 때 부팅 옵션(Boot Options) 메뉴가 표시됩니다.
- 부팅 옵션 메뉴가 나타나면 문제 해결(Troubleshoot)을 클릭합니다.
- 고급 옵션(Advanced Options)을 클릭한 다음 UEFI 펌웨어 설정(UEFI Firmware Settings)을 클릭합니다.
컴퓨터의 UEFI 설정 또는 BIOS에 진입했다면, 이제 VT-X 하드웨어 가속 옵션을 찾아 활성화하면 됩니다. BIOS/UEFI 설정의 각 탭과 섹션을 살펴보면 Intel VT-X, Intel Virtualization Technology, Virtualization Extensions, Vanderpool 등과 유사한 이름의 옵션을 찾을 수 있습니다. 대부분의 경우 이 옵션은 Chipset, Northbridge, Advanced Chipset Control 또는 Advanced CPU Configuration 메인 메뉴 아래의 Processor 하위 메뉴에 위치해 있습니다.
VT-X 옵션을 찾았으면 이를 켜고, 변경 사항을 반드시 저장(Save)한 후 BIOS/UEFI 설정을 종료(Exit)하세요. 구체적인 저장·종료 방법은 설정 화면 어딘가에 안내문으로 표시되어 있습니다. 설정을 빠져나오면 컴퓨터는 평소처럼 정상적으로 부팅됩니다.
방법 3: VirtualBox 관리자에서 PAE/NX 활성화 또는 비활성화
같은 오류 메시지로 고생하던 여러 사용자들이, 가상 머신 설정에서 PAE/NX를 활성화하니 문제가 완전히 해결되었다고 보고했습니다. 흥미롭게도 어떤 사용자들은 반대로 PAE/NX를 비활성화했을 때 해결되었습니다. 두 가지 모두 시도해 보고 자신에게 맞는 쪽을 찾아보세요.
이 옵션은 호스트 CPU의 PAE(물리 주소 확장) 및 NX 기능을 가상 머신에 노출할지 여부를 결정합니다.
100% 보장되지는 않지만, 하드웨어 가상화를 지원하는 것이 확인된 64비트 컴퓨터에서 문제 해결에 효과적이라는 보고가 많습니다. Oracle VM VirtualBox에서 PAE/NX를 설정하는 방법은 다음과 같습니다:
- 왼쪽 패널에서 오류 메시지가 표시되는 가상 머신을 선택한 후 설정(Settings) 아이콘을 클릭합니다.
- 가상 머신의 설정 창에서 왼쪽 패널의 시스템(System) 섹션으로 이동한 후 프로세서(Processor) 탭에 접속합니다. 그런 다음 확장 기능(Extended Features)에 있는 Enable PAE/NX 체크박스에 체크되어 있는지 확인합니다.
- 변경 사항을 저장하고 가상 머신을 다시 시작합니다.
그래도 가상 머신 시작 시 동일한 오류가 계속 발생한다면, 이미 이 옵션이 켜져 있었던 사용자들은 오히려 끄니까 문제가 해결되었다는 보고도 있으니 반대로 비활성화해 보시기 바랍니다. 그래도 해결되지 않으면 다음 방법으로 넘어가세요.
방법 4: RAM 용량 늘리기(또는 줄이기)
같은 문제를 겪던 여러 사용자들이 가상 머신에 할당된 RAM 용량을 늘린 후 재시작하자 문제가 해결되었다고 보고했습니다.
업데이트: 일부 사용자들은 오히려 할당 RAM 용량을 줄였을 때 해결되었다고 밝히기도 했습니다.
위의 방법들이 효과가 없었다면, 아래 단계에 따라 RAM 용량을 늘리거나 줄여 보세요:
- 문제가 발생하는 가상 머신을 선택하고 설정(Settings) 아이콘을 클릭합니다.
- 설정 창에서 시스템(System)으로 이동한 후 메인보드(Motherboard) 탭을 엽니다. 슬라이더를 조절해 할당 메모리(베이스 메모리(Base Memory))를 늘린 다음 확인(OK)을 클릭해 변경 사항을 저장합니다.
- 가상 머신을 실행해 문제가 해결되었는지 확인합니다. 여전히 동일한 오류가 발생한다면 2단계를 통해 메인보드(Motherboard) 탭으로 돌아가 베이스 메모리를 처음 값보다 낮게 설정합니다.
- 가상 머신을 다시 실행해 문제가 해결되었는지 확인합니다.
방법 5: 서드파티 백신이 하드웨어 가상화를 방해하지 않도록 설정
의외로 생각되지만, 이 문제를 반복적으로 일으키는 것으로 확인된 원인 중 하나가 바로 서드파티 백신 프로그램입니다. 같은 문제를 겪던 여러 사용자들이 Avast(또는 다른 서드파티 백신)가 오류 메시지를 유발한다고 보고했습니다.
알고 보면 여러 서드파티 보안 솔루션은 '샌드박스' 기능을 구현하기 위해 백그라운드에서 별도의 프로세스를 실행합니다. 이로 인해 VirtualBox 같은 가상화 클라이언트가 가상화 기능을 사용하지 못하도록 잠겨버리는 것입니다.
서드파티 보안 프로그램을 사용 중이라면, 실시간 보호 기능을 꺼도 문제가 해결되지 않습니다. 백신이 실행 중이든 아니든 동일한 보안 규칙이 그대로 적용되기 때문입니다.
Avast를 사용 중이라면 설정(Settings) > 문제 해결(Troubleshooting)로 이동해 하드웨어 지원 가상화 사용(Enable hardware-assisted virtualization) 항목의 체크를 해제하면 백신이 VirtualBox를 방해하는 것을 막을 수 있습니다. 변경 후에는 시스템을 재시작하세요.
다른 백신 프로그램을 사용 중이라면 인터넷에서 해당 프로그램의 동일한 설정 위치를 검색해 보세요. 단, 일부 서드파티 백신은 샌드박스 기능을 비활성화할 수 없도록 되어 있다는 점에 유의하세요.
그런 경우 유일한 해결책은 서드파티 백신을 시스템에서 완전히 제거하는 것입니다. 일반적인 프로그램 제거 절차를 따르면 어렵지 않게 삭제할 수 있으며, 필요하다면 전용 제거 도구를 활용하는 것도 좋은 방법입니다.