VirtualBox NS_ERROR_FAILURE 오류 해결 방법 (macOS·Linux)

VirtualBox를 실행하려고 할 때 NS_ERROR_FAILURE 오류가 자주 발생합니다. 이 오류는 주로 macOS 사용자에게 나타나며, 일부 Linux 사용자에게도 보고되고 있습니다. 시스템을 업데이트한 후에 이 오류가 발생하는 경우가 많지만, 그것이 유일한 원인은 아닙니다.

가상 머신은 여러 운영체제를 동시에 사용할 수 있는 비용 효율적인 솔루션입니다. 다양한 사용자들의 보고를 바탕으로 이 문제의 잠재적 원인을 정리해 보았습니다.

주요 원인

• Duet Display 사용 — 디스플레이 수를 늘리기 위해 서드파티 소프트웨어를 사용하는 경우, 자주 사용하지 않더라도 VirtualBox와 충돌할 수 있습니다. Duet Display는 iPad 등을 보조 모니터로 활용하는 대표적인 앱입니다. 해당하는 경우 프로그램을 제거해야 문제가 해결됩니다.
• 가상 머신 저장 상태(Saved State) — 저장 상태 기능은 요즘 거의 모든 가상화 솔루션이 제공하는 기능입니다. VM을 저장 상태로 두면 NS_ERROR_FAILURE 오류가 발생할 수 있으며, 이 경우 해당 VM의 저장 상태를 삭제해야 합니다.
• 손상된 설치 파일 — 경우에 따라 VirtualBox 설치 디렉터리 내의 파일이 손상되어 오류가 발생하기도 합니다. 이럴 때는 소프트웨어를 재설치하는 것이 가장 빠르고 간단한 해결책입니다.
• Linux 커널 업데이트 — Linux 사용자의 경우, 최신 버전의 커널로 업데이트한 뒤 문제가 자주 발생합니다. 이 경우 VirtualBox 호스트 모듈을 업데이트해야 합니다.

원인을 파악했으니, 이제 각 상황에 맞는 해결 방법을 하나씩 살펴보겠습니다.

방법 1: VM 저장 상태 삭제하기

저장 상태(Saved State)는 가상화 소프트웨어가 제공하는 기능으로, 가상 머신의 현재 상태를 저장해 두었다가 나중에 빠르게 그 상태로 돌아갈 수 있게 해줍니다. 노트북의 최대 절전 모드와 비슷한 개념이라고 생각하면 됩니다.

하지만 이 저장된 상태가 원인이 되어 오류가 발생할 수 있으며, 해결 방법은 매우 간단합니다.

1. 먼저 VirtualBox 관리자(VirtualBox Manager)를 실행합니다.
2. 관리자가 열리면 저장 상태에 있는 가상 머신을 클릭합니다. VM 이름 아래에 Saved(저장됨)라고 표시되어 있으면 쉽게 구분할 수 있습니다.
3. 선택한 후 메뉴 바에서 아래 화살표 모양의 Discard(버리기) 옵션을 클릭합니다.
4. 또는 가상 머신을 마우스 오른쪽 버튼으로 클릭한 뒤 드롭다운 메뉴에서 Discard Saved State(저장된 상태 버리기)를 선택해도 됩니다.
5. 이후 정상적으로 실행되는지 확인합니다.

방법 2: Duet Display 제거하기

여러 개의 디스플레이를 사용하면 생산성이 크게 향상됩니다. Duet Display는 iPad 같은 기기를 보조 모니터로 변환해 주는 소프트웨어입니다. 하지만 장점만 있는 것은 아니며, macOS 환경에서 이런 오류를 일으킬 수도 있습니다. 해당되는 경우라면 시스템에서 프로그램을 제거하는 것이 좋습니다.

프로그램을 제거하려면 아래 단계를 따르세요.

1. 먼저 Duet Display 앱을 실행합니다.
2. 실행하면 화면 우측 상단에 로고가 표시됩니다.
3. 로고를 클릭한 뒤 드롭다운 창 우측 하단에 있는 설정(Settings) 아이콘을 클릭합니다.
4. 드롭다운 메뉴에서 Uninstall Duet(Duet 제거)를 선택하여 프로그램을 삭제합니다.
5. 이후 표시되는 안내 창들을 진행하여 제거를 완료합니다.
6. 문제가 해결되었는지 확인합니다.

방법 3: VirtualBox 재설치하기

경우에 따라 VirtualBox 설치 디렉터리의 파일이 손상되어 문제가 발생할 수 있습니다. 이는 앱이 올바르게 설치되지 않았거나 업데이트 과정에서 파일이 꼬였을 때 생깁니다. 큰 문제가 아니므로 VirtualBox를 제거한 뒤 다시 설치하면 해결됩니다.

소프트웨어 패키지에 포함된 VirtualBox_Uninstall.tool을 사용하면 간편하게 진행할 수 있습니다. 아래 지침을 따르세요.

1. 먼저 최신 버전의 VirtualBox 설치 파일을 다운로드합니다. VirtualBox 공식 웹사이트의 다운로드 페이지로 이동하여 OSX 설치 파일을 받습니다.
2. 다운로드가 완료되면 .dmg 파일을 마운트합니다.
3. Finder에서 마운트된 설치 폴더로 이동한 뒤, VirtualBox_Uninstall.tool 파일을 더블클릭합니다.
4. 새 터미널 창이 열리며 제거를 진행할지 묻습니다. 터미널에 Yes를 입력하여 제거를 완료합니다.
5. 제거가 완료되면 터미널 창을 닫아도 됩니다.
6. 이후 Finder에서 다시 설치를 진행합니다. 설치 중 오류가 발생한다면, 보안 및 개인정보 보호 창에서 VirtualBox 접근을 허용해야 합니다.
7. 시스템 환경설정 > 보안 및 개인정보 보호(Security and Policy)로 이동합니다.
8. 하단에 앱이 차단되었다는 메시지가 표시됩니다. 허용(Allow) 버튼을 클릭하면 정상적으로 진행됩니다.

방법 4: VirtualBox 호스트 모듈 패키지 업데이트 (Linux)

Linux 배포판에서 이 문제가 발생한다면, 대부분 VirtualBox 호스트 모듈 패키지가 오래되었기 때문입니다. 몇 가지 명령어만 실행하면 간단히 해결할 수 있습니다. 이 모듈은 사용 중인 Linux 배포판을 위한 VirtualBox 호스트 커널 모듈을 포함하고 있습니다.

패키지를 업데이트하려면 다음과 같이 진행하세요.

1. Linux 배포판에서 터미널 창을 엽니다.
2. 패키지를 업데이트하기 전에 먼저 패키지 데이터베이스를 갱신합니다. Arch 사용자는 아래 명령어를 사용합니다.

sudo pacman -Syyu

3. Ubuntu에서는 아래 명령어가 동일한 역할을 합니다.

sudo apt update

4. 그다음 아래 명령어를 실행합니다.

sudo /sbin/rcvboxdrv setup

5. 이 명령은 기존 커널 모듈을 제거한 뒤 새로운 VirtualBox 커널 모듈을 재컴파일합니다.
6. 완료 후 문제가 해결되었는지 확인합니다.