Windows 10 노트북에서 일부 HTTPS 웹사이트가 열리지 않는 문제를 겪은 적이 있으신가요? 브라우저에서 해당 사이트에 접속하려 하면 '이 사이트는 보안 연결을 제공할 수 없습니다(This site can't provide a secure connection)'라는 오류 메시지가 나타납니다. Google Chrome, Opera 등 크로미움(Chromium) 기반 브라우저에서는 사이트 자체가 표시되지 않으며, HTTP와 HTTPS를 모두 지원하는 사이트만 HTTP로 접근이 가능합니다.
Chrome에서 문제가 되는 HTTPS 사이트를 열면 다음과 같은 오류가 표시됩니다.
This site can't provide a secure connection.
sitename.com sent an invalid response.
ERR_SSL_PROTOCOL_ERROR
또는 아래와 같은 오류가 나타날 수도 있습니다.
This site can't provide a secure connection.
sitename.com uses an unsupported protocol.
ERR_SSL_VERSION_OR_CIPHER_MISMATCH.
클라이언트와 서버가 공통으로 지원하는 SSL 프로토콜 버전 또는 암호 스위트(Cipher Suite)가 없습니다. 서버가 더 이상 안전하지 않은 RC4를 요구하는 경우에 주로 발생합니다.
Mozilla Firefox에서는 '보안 연결 실패(Secure Connection Failed)'라는 메시지가 나타납니다. Opera와 크로미움 기반 브라우저에서도 거의 동일한 형태의 오류가 표시됩니다.
오류의 원인
이 문제는 브라우저와 HTTPS 웹사이트 간의 SSL 연결 과정에서 발생하는 것으로, 원인은 다양합니다. 이 글에서는 인기 있는 브라우저에서 ERR_SSL_PROTOCOL_ERROR 오류를 해결하는 모든 방법을 정리했습니다.
참고로 Google Chrome, Opera, 크로미움 기반 브라우저는 서로 다른 회사에서 배포하지만 모두 동일한 WebKit(Chromium) 엔진을 사용하기 때문에, HTTPS 사이트 접속 문제는 모든 브라우저에서 같은 방식으로 해결됩니다.
무엇보다 먼저, 문제가 웹사이트 자체에 있는지 확인하세요. 다른 기기(스마트폰, 태블릿, 집이나 회사의 PC 등)에서 접속을 시도해 보고, IE/Edge나 Mozilla Firefox 등 다른 브라우저에서도 열리는지 확인해 보시기 바랍니다.
1. 브라우저 캐시·쿠키 삭제 및 SSL 캐시 초기화
브라우저 캐시와 쿠키는 SSL 인증서 관련 오류를 자주 유발합니다. 가장 먼저 브라우저의 캐시와 쿠키를 삭제하는 것이 좋습니다. Chrome에서는 Ctrl + Shift + Delete를 누르거나 주소창에 chrome://settings/clearBrowserData를 입력한 후, 시간 범위를 전체 기간(All time)으로 선택하고 데이터 삭제를 클릭합니다.
Windows 10 또는 11에서 SSL 캐시를 삭제하려면 다음 단계를 따르세요.
- 제어판 → 인터넷 옵션으로 이동합니다.
- 내용(Content) 탭을 클릭합니다.
- SSL 상태 삭제(Clear SSL State) 버튼을 클릭합니다.
- 'SSL 캐시가 성공적으로 삭제되었습니다'라는 메시지가 표시됩니다.
- 브라우저를 재시작하고 ERR_SSL_PROTOCOL_ERROR 오류가 계속되는지 확인합니다.
2. 서드파티 브라우저 확장 프로그램 비활성화
익명화 도구, 프록시, VPN, 백신 확장 프로그램 등 대상 웹사이트로의 트래픽을 방해할 수 있는 서드파티 확장 프로그램을 비활성화(또는 삭제)하는 것이 좋습니다. 활성화된 Chrome 확장 프로그램 목록은 설정 → 도구 더보기 → 확장 프로그램에서 확인하거나, chrome://extensions/ 주소로 바로 이동할 수 있습니다. 의심스러운 확장 프로그램은 모두 비활성화하세요.
3. 백신 및 방화벽 설정 확인
컴퓨터에 백신이나 방화벽(대부분 백신에 모듈 형태로 포함되어 있음)이 설치되어 있다면 웹사이트 접속을 차단하고 있을 수 있습니다. 백신이나 방화벽이 원인인지 확인하려면 잠시 일시 중지해 보세요.
많은 백신 프로그램에는 웹사이트의 SSL/TLS 인증서를 검사하는 내장 모듈이 있습니다. 백신이 웹사이트가 안전하지 않은(또는 자체 서명된) 인증서나 구버전 SSL 프로토콜(SSL 3.0 또는 TLS 1.0)을 사용한다고 판단하면, 사용자의 접속을 차단할 수 있습니다. HTTP/HTTPS 트래픽 및 SSL 인증서 검사를 비활성화해 보세요. 백신마다 옵션 명칭은 조금씩 다르지만 대표적인 예는 다음과 같습니다.
- ESET NOD32 Antivirus: 'SSL/TLS 프로토콜 필터링 사용' 옵션 비활성화
- Avast: 'HTTPS 검색 사용' 옵션 비활성화 (설정 → 능동 방어 → 웹 방패 → 사용자 지정 → 기본 설정)
- Dr.Web: 내장 방화벽(Spider Gate)이 웹사이트를 차단할 수 있습니다.
- Kaspersky Internet Security: 설정 → 고급 → 네트워크에서 해당 웹사이트를 제외 목록에 추가하거나, '암호화된 연결 검사 안 함' 옵션 선택
4. 날짜 및 시간 설정 확인
컴퓨터의 날짜, 시간(또는 시간대)이 잘못 설정되어 있어도 HTTPS 웹사이트에서 보안 연결 오류가 발생할 수 있습니다. 인증 과정에서 운영체제는 웹사이트 인증서의 생성일, 만료일, 그리고 인증 기관(CA) 인증서의 만료일을 확인하기 때문입니다.
시간과 시간대가 올바르게 설정되어 있는지 확인하세요. 재부팅할 때마다 시간이 초기화된다면 CMOS 배터리 문제 등 별도의 원인을 점검해야 합니다.
5. Windows 루트 인증서 업데이트
컴퓨터가 격리된 네트워크 환경에 있거나, 오랫동안 업데이트되지 않았거나, 자동 업데이트가 꺼져 있다면 최신 신뢰할 수 있는 루트 인증서(TrustedRootCA)가 없을 수 있습니다. Windows에서는 항상 최신 보안 업데이트를 설치하는 것이 좋습니다.
신뢰할 수 있는 루트 인증서는 수동으로도 업데이트할 수 있습니다. 또한 SigCheck 같은 도구로 컴퓨터에 설치된 의심스럽거나 신뢰할 수 없는 인증서를 점검하는 것도 권장됩니다. 이는 HTTPS 트래픽 가로채기(중간자 공격) 등 여러 문제를 예방하는 데 도움이 됩니다.
6. QUIC 프로토콜 지원 비활성화
Chrome에서 QUIC(Quick UDP Internet Connections) 프로토콜 지원 상태를 확인하세요. QUIC은 연결 설정 속도를 높이고 웹사이트 접속 시 TLS(HTTPS) 파라미터를 협상하는 기술입니다. 하지만 경우에 따라 SSL 연결에 문제를 일으킬 수 있습니다. QUIC을 비활성화해 보세요.
- 주소창에
chrome://flags/#enable-quic를 입력합니다. - Experimental QUIC protocol 옵션을 찾습니다.
- 값을 Default에서 Disabled로 변경합니다.
- Chrome을 재시작합니다.
7. 브라우저와 웹 서버가 지원하는 TLS/SSL 프로토콜 확인
사용 중인 브라우저가 어떤 TLS/SSL 프로토콜 버전과 암호화 방식(암호 스위트)을 지원하는지 확인하세요. https://clienttest.ssllabs.com:8443/ssltest/viewMyClient.html 페이지에 접속하기만 하면 됩니다.
SSL Labs 온라인 서비스가 브라우저가 지원하는 프로토콜과 암호 스위트 목록을 반환합니다. 예를 들어 Chrome은 TLS 1.3과 TLS 1.2만 지원하며, 나머지 프로토콜(TLS 1.1, TLS 1.0, SSL 3, SSL 2)은 모두 비활성화되어 있습니다.
Windows에서 활성화된 전체 암호 스위트 목록은 PowerShell로 확인할 수 있습니다.
Get-TlsCipherSuite | Format-Table -Property CipherSuite, Name
다음으로, 사이트가 지원하는 TLS/SSL 프로토콜 목록을 확인합니다. 온라인 SSL 검사 서비스인 https://www.ssllabs.com/ssltest/analyze.html?d=domain.com을 이용하세요(domain.com을 확인하려는 사이트 주소로 변경).
웹사이트가 지원하는 모든 TLS/SSL 버전을 브라우저에서도 지원하는지 확인합니다. 예를 들어 어떤 사이트는 TLS 1.1, SSL 3.0, SSL 2.0을 지원하지 않을 수 있으며, 암호 스위트 목록도 비교해 보아야 합니다.
브라우저가 특정 암호화 방식을 지원하지 않는다면 Windows에서 이를 활성화해야 할 수 있습니다. 반대로 웹사이트가 클라이언트가 요구하는 SSL 프로토콜을 지원하지 않으면, HTTPS 사이트 접속 시 '이 사이트는 보안 연결을 제공할 수 없습니다' 오류가 표시됩니다.
8. 구버전 TLS/SSL 프로토콜 지원 활성화 (권장하지 않음)
마지막 방법은 구버전 TLS 및 SSL 프로토콜 지원을 활성화하는 것입니다. 대부분의 경우 이 방법이 가장 효과적이지만, 의도적으로 글의 맨 끝에 배치했습니다. 그 이유를 설명드리겠습니다.
구버전 TLS/SSL 프로토콜이 비활성화된 것은 단순히 개발자들의 결정 때문이 아닙니다. 해커가 HTTPS 트래픽에서 데이터를 가로채거나 변조할 수 있는 수많은 취약점이 존재하기 때문입니다. 이런 구형 프로토콜을 무분별하게 활성화하면 인터넷 보안이 크게 저하되므로, 다른 방법으로 해결이 불가능한 경우에만 사용해야 합니다.
현대적인 브라우저와 운영체제에서는 취약한 구버전 SSL/TLS 프로토콜(SSL 2.0, SSL 3.0, TLS 1.1)이 기본적으로 비활성화되어 있습니다. 현재 SSL 연결에는 TLS 1.2 또는 TLS 1.3만 사용하는 것이 권장됩니다.
웹 서버(사이트)가 클라이언트(브라우저)가 지원하는 것보다 오래된 SSL/TLS 프로토콜 버전을 사용하면, 보안 연결 설정 시 ERR_SSL_VERSION_OR_CIPHER_MISMATCH 오류가 발생합니다. 이 오류는 TLS 핸드셰이크 단계에서 클라이언트가 사이트가 사용하는 암호화 프로토콜이나 키 길이를 브라우저가 지원하지 않는다는 것을 감지했을 때 나타납니다.
그럼에도 Windows에서 구버전 SSL/TLS 프로토콜을 허용하려면(보안에 취약해진다는 점을 다시 강조합니다):
- 제어판 → 인터넷 옵션을 엽니다.
- 고급(Advanced) 탭으로 이동합니다.
- TLS 1.0, TLS 1.1, TLS 1.2를 체크합니다(효과가 없다면 SSL 3.0, SSL 2.0도 함께 활성화).
- 브라우저를 재시작합니다.
추가 확인 사항
위 방법들로도 '이 사이트는 보안 연결을 제공할 수 없습니다' 오류가 해결되지 않는다면 다음 항목들을 점검해 보세요.
C:\Windows\System32\drivers\etc\hosts파일에 고정 레코드가 없는지 확인합니다. hosts 파일은 도메인과 웹사이트 접속 차단에도 사용될 수 있습니다:Get-Content $env:SystemRoot\System32\Drivers\etc\hosts- Google DNS(8.8.8.8) 같은 공개 DNS 서버를 사용해 봅니다. 네트워크 연결 설정에서 기본 DNS 서버 주소로 8.8.8.8을 지정하세요.
- 제어판 → 인터넷 옵션에서 인터넷 영역의 보안 수준이 중간 높음(Medium-high) 또는 중간(Medium)으로 되어 있는지 확인합니다. 높음(High)으로 설정되어 있으면 일부 SSL 연결이 브라우저에 의해 차단될 수 있습니다.
- 사이트 인증서 자체에 문제가 있을 수 있으니 온라인 SSL Checker로 인증서를 점검해 보세요.
- VPN을 사용 중이거나 Windows 설정에 프록시 서버가 구성되어 있다면, 이를 비활성화해 보세요.
- Chrome에서 TLS 1.3이 활성화되어 있는지 확인합니다. 주소창에
chrome://flags를 입력하고 TLS 1.3 옵션을 검색한 후, Enabled 또는 Default로 설정되어 있는지 확인하세요. 비활성화되어 있다면 활성화합니다. - 구버전 OS(Windows XP, Windows 7)를 사용 중이라면 Chrome 대신 Mozilla Firefox를 설치해 보세요. Firefox는 Windows에 내장된 모듈이 아닌 자체 구현 모듈로 SSL/TLS 암호화 프로토콜을 처리합니다.