[해결 방법] 맥(Mac)에서 VirtualBox 설치 실패 오류 고치는 법

가상 머신(Virtual Machine)의 인기는 날이 갈수록 높아지고 있으며, 그 이유도 충분합니다. 기존 운영체제 위에서 완전히 다른 시스템을 자유롭게 사용할 수 있다는 것은 얼마 전까지만 해도 일반 사용자들이 상상하기 어려웠던 기능입니다. VirtualBox는 다양한 플랫폼을 지원하는 가장 유명한 하이퍼바이저(hypervisor) 중 하나로, 많은 사용자에게 사랑받고 있습니다. 하지만 간혹 설치 과정이 예상대로 진행되지 않는 경우가 있습니다. 실제로 일부 맥(Mac) 사용자들은 VirtualBox를 설치하려 할 때 "설치에 실패했습니다(The installation failed)"라는 오류 메시지를 마주하게 됩니다.

오류의 원인

이 오류 메시지가 나타나는 이유는 설치 프로그램이 사용하는 인증서를 macOS가 허용하지 않기 때문입니다. VirtualBox 설치 파일은 Oracle America 인증서로 서명되어 있으며, 설치를 계속 진행하려면 해당 인증서가 허용되어야 합니다. 그런데 이 인증서가 차단된 상태이기 때문에 설치 프로그램은 결국 위와 같은 오류 메시지를 표시하게 되는 것입니다.

다행히 이 문제를 해결할 수 있는 방법은 여러 가지가 있습니다. 첫 번째 방법은 보안 및 개인 정보 보호 설정에서 인증서를 직접 허용하는 것이지만, 원격으로 시스템에 연결된 상태라면 이 방법이 작동하지 않을 수 있습니다. 따라서 이 글에서는 다양한 상황별 해결 방법을 모두 소개해 드리겠습니다.

방법 1: 인증서 허용하기

해당 오류 메시지를 마주했다면 가장 먼저 시스템 환경설정에서 인증서를 허용해 주어야 합니다. 기본적으로 이 인증서는 허용되어 있지 않으며, 시스템 환경설정의 보안 및 개인 정보 보호(Security & Privacy) 항목에서 승인을 기다리고 있는 상태입니다. 다만, 원격으로 시스템에 연결된 경우에는 이 방법이 작동하지 않을 수 있으니 참고하세요. 아래 지침에 따라 문제를 해결해 보세요.

먼저 VirtualBox 디스크 이미지를 추출(마운트 해제)해야 합니다. Finder를 열면 Devices(장치) 목록에서 VirtualBox 항목을 확인할 수 있습니다.
해당 항목을 마우스 우클릭 후 '추출'을 선택하여 장치를 꺼냅니다.
그다음 시스템 환경설정(System Preferences)을 엽니다.
시스템 환경설정 화면에서 보안 및 개인 정보 보호(Security & Privacy) 옵션으로 이동합니다.
일반(General) 탭에서 "Oracle America의 시스템 소프트웨어 로드가 차단됨(System software from Oracle America was blocked from loading)"이라는 메시지를 확인할 수 있습니다.
메시지 옆의 허용(Allow) 버튼을 클릭하여 인증서를 승인합니다.
이후 VirtualBox를 다시 설치해 보세요. 설치 과정에서 디스크 이미지가 자동으로 다시 마운트되므로 별도로 신경 쓰지 않아도 됩니다.

방법 2: 확인되지 않은 개발자의 앱 허용하기

이 오류를 해결하는 또 다른 방법은 맥에서 확인되지 않은 개발자(unidentified developer)의 앱 실행을 허용하는 것입니다. 말그대로 검증되지 않은 개발자가 배포한 응용 프로그램의 실행을 허용하는 설정입니다. 평소에는 권장되지 않는 설정이지만, 이번 경우에는 예외적으로 활용할 수 있습니다. 단, VirtualBox 설치가 완료된 후에는 반드시 이 설정을 다시 비활성화해야 한다는 점을 유의하세요. 아래 지침을 따라 진행해 보세요.

먼저 열려 있다면 시스템 환경설정 창을 닫습니다.
Finder에서 메뉴 바의 이동(Go)을 클릭하고, 드롭다운 메뉴에서 유틸리티(Utilities)를 선택합니다.
유틸리티 폴더에서 터미널(Terminal)을 실행합니다.
터미널 창에 sudo spctl --master-disable 명령어를 입력합니다.
관리자 비밀번호 입력을 요구받으면 비밀번호를 입력하고, 명령이 실행되면 터미널 창을 종료합니다.
그다음 시스템 환경설정 창을 다시 엽니다.
보안 및 개인 정보 보호(Security & Privacy)로 이동합니다.
창 하단의 자물쇠(lock) 아이콘을 클릭합니다.
관리자 비밀번호를 요구받으면 비밀번호를 입력합니다.
'다음에서 다운로드한 응용 프로그램 허용(Allow apps downloaded from)' 항목에서 모든 곳(Anywhere) 옵션을 선택합니다.
마지막으로 다시 자물쇠 아이콘을 클릭하여 변경 사항을 저장합니다.
이제 VirtualBox 설치 프로그램을 실행하여 문제가 해결되었는지 확인합니다.

VirtualBox 설치가 성공적으로 완료되었다면, 보안을 위해 반드시 이 설정을 원래대로 되돌려야 합니다. 아래 지침을 따르세요.

시스템 환경설정 창을 닫고 터미널을 엽니다.
터미널에 sudo spctl --master-enable을 입력하고 Enter 키를 누릅니다.
관리자 비밀번호를 입력하고 명령이 실행될 때까지 기다립니다.
마지막으로 터미널 창을 닫으면 설정이 정상 상태로 복원됩니다.

방법 3: 스크립트 실행하기

앞서 언급했듯이, 일부 사용자의 경우 첫 번째 방법의 '허용' 버튼 클릭이 작동하지 않을 수 있습니다. 특히 맥 앞에 직접 앉아 있지 않고 원격 연결 또는 화면 공유 중인 사용자에게 자주 발생합니다. 이런 경우에는 맥에게 '허용' 버튼을 대신 눌러달라고 지시하는 스크립트를 실행하면 됩니다. 단, 이 방법이 작동하려면 보안 및 개인 정보 보호 창을 절대 움직여서는 안 된다는 점이 매우 중요합니다. 아래 단계에 따라 스크립트를 생성하고 실행해 보세요.

먼저 VirtualBox 설치 프로그램을 설치 위치를 묻는 단계까지 진행합니다.
그런 다음 시스템 환경설정을 열고 보안 및 개인 정보 보호로 이동합니다.
여기서 스크린샷 도구를 호출하여 허용(Accept) 버튼의 좌표를 확인해야 합니다. CMD + SHIFT + 4 키를 누른 후 커서를 '허용' 버튼 위에 올리면 좌표 값이 표시됩니다. 이 값을 메모해 두세요.
마지막으로 스크립트 편집기(Script Editor)를 열고 아래 코드를 붙여 넣습니다.
```
tell application "System Events" to click at {x,y}
```
여기서 x와 y는 좌표 값이므로, 앞서 확인한 값으로 적절히 교체합니다.
스크립트를 실행하면 '허용' 버튼이 자동으로 클릭되며, 이제 VirtualBox를 정상적으로 설치할 수 있습니다.