마이크로소프트의 공식 발표에 따르면, 보안상의 이유로 Syskey는 Windows 10 버전 1709 및 Windows Server 2016부터 제거되었습니다.
하지만 실제로 syskey.exe 유틸리티는 Windows Server 2000에서 처음 도입된 만큼, 아직 Windows 10으로 업그레이드하지 않은 사용자라면 Windows XP, Windows 7, Windows 8에서 부팅 시 OS 보안 기능인 Syskey를 여전히 사용하고 있을 가능성이 있습니다.
Windows 10 V1709 이상으로 업그레이드하려는 경우, 외부 암호화 유틸리티인 Syskey가 대체제인 BitLocker(비트로커)로 교체되면서 업그레이드에 어려움을 겪을 수 있습니다. Syskey는 Windows 10 Fall Creators Update와 이후의 1803, 1809 등의 업데이트에서 제거되었기 때문에, 더 이상 Windows 10 시작 시 Syskey 암호 입력 창이 나타나지 않습니다.
어떻게 Windows 시스템에서 Syskey가 사라지게 된 것일까요? 이 글에서는 Syskey가 무엇인지, Windows 10 Fall Creators Update 이후 버전에서 작동하지 않는 이유, 그리고 제거하는 방법까지 전 과정을 자세히 안내합니다. 현재 Syskey를 사용 중이시거나 관심이 있는 분이라면 끝까지 읽어보세요.
Syskey란 무엇인가?
SAM Lock Tool이라고도 불리는 Syskey(System Key)는 사용자 계정 비밀번호 해시와 같은 시스템 데이터를 암호화하는 데 사용되는 Windows 내장 유틸리티입니다. 한편, syskey.exe 도구는 또 다른 형태의 보호 기능도 제공하는데, 바로 IFFM(Install-From-Media) 방식으로 Active Directory 도메인 컨트롤러를 설치할 때 외부 암호화를 적용할 수 있다는 점입니다.
그렇다면 이 과정에서 Syskey는 어떤 역할을 할까요? 첫째, Syskey는 SAM(Security Accounts Management, 보안 계정 관리) 데이터베이스의 암호화 키를 Windows 시스템 외부로 옮겨 SAM 데이터베이스를 보호합니다. 이는 Windows XP, Windows 7, 8, 그리고 Fall Creators Update 이전 버전의 Windows 10에 해당됩니다.
둘째, Syskey 유틸리티는 시스템 부팅을 차단하고, 대부분의 경우 USB 드라이브를 통해 암호를 요청하는 기능도 수행합니다.
위 내용이 바로 Syskey의 정의와 일반 Syskey 및 외부 Syskey의 용도입니다.
Windows 10은 더 이상 Syskey.exe를 지원하지 않는 이유는?
SAM 키가 Windows XP, Windows 7, 8에서 유용하게 쓰였다면, 마이크로소프트는 왜 Windows 10에서 이를 제거하고 BitLocker, VeraCrypt 같은 대체제 사용을 권장하기로 했을까요?
물론 SAM Lock Tool도 별다른 문제가 없다면 제외되지 않았을 것입니다.
구체적으로 말씀드리면, 일부 Syskey 버그로 인해 Windows 시스템에서 신뢰성이 떨어졌고, 이에 따라 마이크로소프트는 Windows 10 Fall Creators Update 및 이후 버전에서 이를 제거했습니다.
Syskey 문제 중 가장 두드러지고 감당하기 어려운 문제들은 다음과 같습니다:
1. Syskey.exe 유틸리티는 상대적으로 취약한 암호화 기술을 기반으로 개발되어 향후 쉽게 깨질 수 있습니다.
2. 모든 Windows 데이터나 파일을 Syskey로 암호화할 수 있는 것은 아니므로, Windows 시스템의 보안을 완전히 보장할 수 없습니다.
3. Syskey.exe는 사용된 이래로 랜섬웨어 해킹의 표적이 되어 왔습니다.
4. Active Directory 도메인 컨트롤러 설치를 위한 Syskey의 외부 암호화 역시 보안상 취약점을 드러냈습니다.
이러한 Syskey.exe의 결함을 바탕으로 마이크로소프트는 데이터 보호와 바이러스·위협 차단 기능이 개선된 BitLocker로 이를 대체했습니다.
예를 들어, 부팅 시 OS 보안 기능을 사용하거나 IFM 방식으로 Active Directory를 설치하거나 Windows Server 2016 RS3로 업그레이드해야 한다면, 구식 SAM Lock Tool 대신 BitLocker 드라이브 암호화를 사용하는 것이 현명합니다.
PC에서 Syskey를 제거하는 방법
아직 Syskey를 사용 중인 사용자라면, Syskey 해킹을 피하기 위해 이를 제거하고 BitLocker, VeraCrypt, DiskCryptor 같은 대체 도구를 활용하는 것이 좋습니다.
또한 Windows 10 V1709 이상으로 업그레이드하거나 업데이트하려는 경우에는 Windows 10에서 Syskey.exe 유틸리티를 비활성화해야 할 필요성이 커집니다. 이 작업을 완료해야만 Windows Server 2016으로 성공적으로 업데이트할 수 있습니다.
1단계. 검색창에 syskey를 입력하고 Enter 키를 눌러 Windows 계정 데이터베이스 보안 설정(Securing the Windows account database) 창으로 이동합니다.
2단계. Windows 계정 데이터베이스 보안 설정 창에서 업데이트(Update) 버튼을 클릭합니다.
기본적으로 암호화가 활성화되어 있는 것을 확인할 수 있습니다.
3단계. 시작 키(Startup Key) 항목에서 먼저 시스템 생성 암호(System Generated Password)를 선택한 다음, 로컬에 시작 키 저장(Store Startup key Locally)을 선택하여 Syskey를 로컬 PC의 하드 드라이브에 저장합니다.
여기서 원한다면 암호 설정(Password setup)을 지정할 수도 있습니다. 이렇게 하면 다음에 Windows 10을 시작할 때 암호를 입력해야 합니다.
확인(OK)을 클릭하는 순간, 시스템 재시작 시 별도의 입력 없이 진행되므로 Syskey는 비활성화됩니다.
4단계. 다음 창에 계정 데이터베이스 시작 키가 변경되었습니다(Account database start-up key was changed)라는 메시지가 표시됩니다. 확인(OK)을 클릭하여 작업을 마칩니다.
BitLocker는 마이크로소프트가 공식 출시한 솔루션이므로, Windows XP, 7, 8 또는 10에서 SAM 키를 제거한 후에는 BitLocker로 시스템 파일과 데이터를 보호하는 것이 좋습니다. 대부분의 사용자에게 Syskey 암호로 Windows 10을 잠그고 싶다면 BitLocker 사용을 강력히 권장합니다.
결론적으로, Syskey의 보안 위험을 예방하든, Windows 10 버전 1709(Windows Server 2016) 이상으로 업그레이드하든, Syskey가 무엇인지 그리고 이를 Windows 10에서 제거하는 방법을 아는 것이 필수적입니다.