브라우저 오류 코드 SSL_ERROR_HANDSHAKE_FAILURE_ALERT 완벽 해결 가이드

SSL 핸드셰이크 오류는 접속자의 신원을 확인해야 하는 웹사이트(하드웨어 암호화 장치나 인증 카드를 사용하는 경우가 많음)에서 자주 발생하는 문제입니다. 이 오류는 Firefox, Chrome, Edge 등 주요 브라우저와 Windows, macOS, Linux 등 모든 데스크톱 운영체제에서 공통으로 나타나며, 일반적으로 다음과 같은 메시지가 표시됩니다.

SSL 핸드셰이크 오류는 SSL 프로토콜을 통한 서버와 클라이언트 간 통신이 실패했다는 의미입니다. 원인은 클라이언트 측과 서버 측 어느 쪽에도 있을 수 있으며, 주요 원인은 다음과 같습니다.

• 손상된 브라우저 데이터: 쿠키, 캐시 등 브라우저 데이터가 손상되면 웹사이트에 필요한 인증서를 정상적으로 불러오지 못해 SSL 핸드셰이크 오류가 발생할 수 있습니다.
• 브라우저 또는 Java 보안 설정 오류: 브라우저나 Java 보안 기능이 해당 웹사이트를 위험하다고 판단하면 SSL 핸드셰이크 경고와 함께 사이트가 열리지 않습니다.
• 백신·방화벽 프로그램의 간섭: 시스템의 백신이나 방화벽이 특정 데이터 패킷을 위험 요소로 차단하면 브라우저가 웹사이트를 로드하지 못하고 SSL 핸드셰이크 경고가 표시될 수 있습니다.
• 인증서 설치 오류: 일부 웹사이트는 인증서가 운영체제의 특정 위치에 설치되기를 요구합니다. 인증서가 올바른 위치에 없으면 웹사이트가 브라우저에 응답하지 않아 SSL 핸드셰이크 실패 알림이 나타날 수 있습니다.

1. 브라우저를 최신 버전으로 업데이트

오래된 브라우저는 여러 웹사이트와 호환성 문제를 일으켜 SSL 핸드셰이크 오류를 유발할 수 있습니다. 최신 버전으로 업데이트하면 문제가 해결되는 경우가 많습니다. 여기서는 Google Chrome을 예로 들어 설명합니다. 업데이트 전에, 문제가 되는 웹사이트가 사용자 식별용 암호화 장치나 카드를 요구한다면 해당 장치의 드라이버가 제대로 설치되어 있는지 먼저 확인하세요.

1. Chrome 브라우저를 열고 우측 상단의 점 세 개(⋮) 아이콘을 클릭해 Chrome 메뉴를 엽니다.
2. 설정을 선택한 후 왼쪽 메뉴에서 Chrome 정보 탭으로 이동합니다.
3. Chrome이 최신 버전으로 업데이트되었는지 확인한 후 SSL 핸드셰이크 오류가 사라졌는지 점검합니다.
4. 문제가 계속되고 브라우저 업데이트 이후부터 발생했다면, 이전 버전의 브라우저를 설치했을 때 오류가 해결되는지 확인해 보세요.

2. 브라우저 인증서 관리자에서 문제 인증서 삭제

브라우저 인증서 관리자에 저장된 웹사이트 인증서가 손상된 경우 SSL 오류가 발생할 수 있습니다. 이 경우 브라우저 설정에서 해당 웹사이트의 인증서를 삭제하면 해결됩니다. Firefox를 예로 들어 안내합니다.

1. Firefox를 실행하고 우측 상단의 햄버거(☰) 아이콘을 클릭합니다.
2. 설정을 선택한 후 왼쪽 메뉴에서 개인 정보 및 보안 탭으로 이동합니다.
3. 아래로 스크롤하여 인증서 섹션을 찾은 뒤 인증서 보기 버튼을 클릭합니다.
4. 내 인증서 탭으로 이동해 문제가 되는 웹사이트의 인증서를 선택합니다.
5. 삭제를 클릭한 후 확인하여 인증서를 제거합니다. 이후 서버 탭에 해당 웹사이트의 인증서가 남아 있지 않은지, 인증 기관 탭에 관련 CA가 불필요하게 남아 있지 않은지도 함께 확인하세요.
6. Firefox를 재실행한 후 SSL 핸드셰이크 오류가 해결되었는지 확인합니다.

그래도 문제가 해결되지 않는다면 다른 네트워크나 다른 네트워크 방식(예: 이더넷에서 문제가 발생한다면 Wi-Fi 사용)으로 접속해 보세요.

3. 브라우저의 쿠키, 캐시 및 데이터 삭제

브라우저의 쿠키, 캐시, 데이터 중 하나라도 손상되면 SSL 핸드셰이크 오류가 나타날 수 있습니다. 이 경우 해당 데이터를 모두 삭제하면 문제가 해결될 수 있습니다. Chrome을 예로 들어 설명합니다.

1. Chrome을 실행하고 우측 상단의 점 세 개(⋮) 아이콘을 클릭합니다.
2. 도구 더보기에 마우스를 올린 뒤 인터넷 사용 기록 삭제를 선택합니다.
3. 열리는 창에서 고급 탭으로 이동한 후 창 하단의 로그아웃 옵션을 선택해 Google 계정 데이터는 유지되도록 합니다.
4. 기간을 전체 기간으로 설정하고 모든 항목에 체크합니다.
5. 데이터 삭제 버튼을 클릭한 후 완료되면 시스템을 재시작합니다.
6. 재시작 후 SSL 오류가 해결되었는지 확인합니다.

4. 다른 브라우저로 시도

SSL 핸드셰이크 오류는 현재 사용 중인 브라우저 자체의 버그 때문일 수 있습니다. 다른 브라우저를 사용하면 문제없이 해당 웹사이트에 접속할 수 있습니다.

1. 시스템에 다른 브라우저를 다운로드하여 설치합니다. 가능하면 OS 기본 브라우저(Windows는 Edge, Mac은 Safari, Linux는 Firefox, Chromebook은 Chrome)를 사용하는 것이 좋습니다.
2. 두 번째 브라우저를 실행하고 SSL 핸드셰이크 오류 없이 해당 웹사이트에 접속되는지 확인합니다.

5. Windows 인터넷 옵션 초기화

Windows의 인터넷 옵션은 운영체제와 응용 프로그램이 인터넷에 접속할 때 사용하는 기본 설정을 담당합니다. 인터넷 옵션이 잘못 구성되었거나 인증서 관리자가 손상된 경우 기본값으로 초기화하면 문제가 해결될 수 있습니다.

1. Windows 키를 누르고 인터넷 옵션을 검색해 실행합니다.
2. 고급 탭으로 이동한 후 고급 설정 복원을 클릭합니다.
3. Internet Explorer 설정 초기화 섹션에서 재설정을 클릭하고 개인 설정 삭제에 체크합니다.
4. 재설정을 클릭한 후 시스템을 재시작합니다.
5. 재시작 후 브라우저의 SSL 핸드셰이크 오류가 해결되었는지 확인합니다.

6. 브라우저에서 웹사이트를 신뢰 사이트로 추가 (Firefox)

문제가 지속된다면 해당 웹사이트를 브라우저의 신뢰 목록에 추가하는 방법이 있습니다. Firefox 기준으로 안내합니다.

경고:

위험한 웹사이트를 신뢰 목록에 추가하면 데이터, 시스템, 네트워크가 보안 위협에 노출될 수 있습니다. 반드시 본인의 책임 하에 진행하세요.

1. Firefox를 실행하고 문제가 되는 웹사이트에 접속합니다.
2. 주소 표시줄에서 웹사이트의 전체 URL을 복사한 후, 주소 표시줄에 다음을 입력합니다:

   about:config

   
3. 위험을 감수하고 계속하기를 클릭합니다.
4. 기본 설정 검색 입력란에 다음을 입력합니다:

   tls.insecure_fallback_hosts

5. 편집(연필) 아이콘을 클릭하고 문제가 되는 웹사이트의 URL을 입력합니다.
6. 체크(✓) 아이콘을 클릭해 저장한 후 Firefox를 재실행합니다.
7. 재실행 후 해당 웹사이트가 SSL 오류 없이 열리는지 확인합니다. 참고로 Firefox가 웹사이트 상단에 기밀 정보를 입력하지 말라는 노란색 경고 팝업을 표시할 수 있습니다.

7. 브라우저 보안 설정 편집 (Firefox)

대상 웹사이트 자체의 구성 문제로 인해 SSL 핸드셰이크 오류가 발생하는 경우, 브라우저 보안 설정을 조정하면 접근이 가능해질 수 있습니다.

경고:

보안 설정 변경은 시스템, 데이터, 네트워크를 위협에 노출시킬 수 있으므로 반드시 본인의 책임 하에 진행하세요.

1. Firefox를 실행하고 주소 표시줄에 다음을 입력합니다:

   about:config

2. 위험을 감수하고 계속하기를 클릭합니다.
3. 기본 설정 검색란에 다음을 입력합니다:

   tls.enable_0rtt_data

4. 토글 버튼을 클릭해 해당 값을 false로 변경한 후 Firefox를 재실행하고 SSL 핸드셰이크 오류가 해결되었는지 확인합니다.

8. Burp Suite 재설치

조직에서 웹 응용 프로그램 테스트 및 분석을 위해 Burp Suite를 사용한다면, 잘못된 구성이 SSL 핸드셰이크 실패를 유발할 수 있습니다. 이 경우 Burp Suite를 재설치하면 해결됩니다.

1. 기존 Burp JAR 파일과 Loader를 백업합니다.
2. Windows 시작 버튼을 우클릭하고 앱 및 기능을 선택합니다.
3. Burp Suite를 확장한 후 제거를 클릭합니다.
4. 제거를 확인한 후 시스템을 재시작합니다.
5. 재시작 후 최신 버전의 Burp Suite를 다운로드하여 설치합니다. 이때 반드시 OS 드라이브(예: C:)에 설치되도록 합니다.
6. 백업해 둔 Burp 파일과 Loader를 다음 위치로 복사합니다:

   C:\Burp_Suite\jre\bin

7. Windows 키를 눌러 명령 프롬프트를 검색하고, 결과를 우클릭한 후 관리자 권한으로 실행을 선택합니다.
8. 다음 명령을 실행합니다(X는 실제 값으로 교체):

   C:\Burp_Suite\jre\bin\java.exe -javaagent:BurpSuiteLoader_v.XXX.jar -noverify -jar burpsuite_pro_vXXX.jar

9. 브라우저(예: Firefox)를 실행하고 SSL 핸드셰이크 문제가 해결되었는지 확인합니다.

9. Gemalto/Thales DIS CMS의 Program Files 디렉터리 인증서 사용

조직에서 Gemalto(현 Thales DIS) 응용 프로그램/CMS를 사용한다면, Program Files (X86)이 아닌 Program Files 폴더의 인증서를 사용해야 할 수 있습니다. 64비트 클라이언트 브라우저는 64비트 Program Files 디렉터리에서 인증서를 찾기 때문입니다. Firefox 기준으로 안내합니다.

1. Firefox를 실행하고 메뉴를 엽니다.
2. 설정을 선택한 후 개인 정보 및 보안 탭으로 이동합니다.
3. 아래로 스크롤한 후 인증서 섹션의 보안 장치 버튼을 클릭합니다.
4. 불러오기(Load)를 클릭하고 모듈 이름에 다음을 입력합니다:

   Gemalto PKCS#11 Module

   
5. 찾아보기를 클릭하고 gclib.dll 파일이 있는 다음 경로로 이동해 선택합니다:

   C:\Program Files\Gemalto\Classic Client\BIN\gclib.dll

   
6. 열기를 클릭한 후 확인을 누릅니다.
7. Firefox를 재실행하고 SSL 핸드셰이크 문제가 해결되었는지 확인합니다.

10. Java 보안 설정에 웹사이트 예외 추가

웹사이트가 클라이언트 PC에서 Java를 요구하지만 Java가 해당 사이트를 안전하지 않다고 판단하면 브라우저에서 SSL 핸드셰이크 오류가 발생할 수 있습니다. 이 경우 Java 보안 설정에 예외 사이트를 추가하면 해결됩니다.

1. Windows 키를 누르고 Java 구성(Configure Java)을 검색해 실행합니다.
2. 보안 탭으로 이동한 후 사이트 목록 편집을 클릭합니다.
3. 추가를 클릭하고 문제가 되는 웹사이트의 URL을 입력합니다.
4. 확인을 누른 후 시스템을 재시작합니다.
5. 재시작 후 SSL 오류가 해결되었는지 확인합니다.

11. 백신/방화벽 비활성화 또는 제거

시스템 백신이 웹사이트 데이터를 브라우저가 안전하다고 판단하지 않는 방식으로 변경하면 SSL 핸드셰이크 오류가 발생할 수 있습니다. Kaspersky 백신에서 이러한 문제가 보고된 바 있습니다.

경고:

백신이나 방화벽을 비활성화하거나 제거하면 데이터, 시스템, 네트워크가 보안 위협에 노출될 수 있습니다. 반드시 본인의 책임 하에 진행하세요.

백신/방화벽 비활성화

1. 시스템 트레이의 백신 프로그램 아이콘(예: ESET)을 우클릭합니다(숨긴 아이콘 표시가 필요할 수 있음). 그리고 보호 일시중지를 선택합니다.
2. 비활성화를 확인한 후 다시 트레이의 백신 아이콘을 우클릭합니다.
3. 방화벽 일시중지를 선택하고, 요청 시 ESET 방화벽 비활성화를 확인합니다.
4. 이후 브라우저에서 해당 웹사이트에 SSL 핸드셰이크 오류 없이 접속되는지 확인합니다.

서드파티 백신/방화벽 제거

비활성화로 해결되지 않는다면 백신/방화벽을 완전히 제거해 보세요.

1. Windows 시작 버튼을 우클릭하고 앱 및 기능을 선택합니다.
2. 백신 응용 프로그램(예: ESET)을 확장한 후 제거를 클릭합니다.
3. 제거를 확인한 후 시스템을 재부팅합니다.
4. 재부팅 후 SSL 핸드셰이크 오류가 해결되었는지 확인합니다.

조직에서 하드웨어 방화벽 콘솔을 사용한다면, 방화벽과 시스템을 연결하는 케이블이 제조사(OEM)에서 권장하는 제품인지 확인하세요. 호환되지 않는 케이블이 SSL 핸드셰이크 오류를 유발할 수 있습니다.

12. 문제 인증서 재등록

문제가 되는 웹사이트가 시스템에 인증서 설치를 요구하며(이메일 첨부 또는 온라인 다운로드), 인증서가 올바르게 설치되지 않은 경우 재설치로 해결할 수 있습니다. 먼저 해당 인증서를 다운로드하거나 내보내기 해 두세요.

1. Windows 시작 버튼을 우클릭하고 실행을 선택합니다.
2. 다음 명령을 실행합니다:

   certmgr.msc

   
3. 개인 >> 인증서 탭으로 이동해 문제의 인증서가 있는지 확인합니다. 인증서 발급 기관이 다른 탭을 요구한다면 해당 탭에 인증서가 있는지 확인하세요.
4. 인증서가 있다면 더블클릭하여 속성/유효성을 점검합니다.
5. 문제가 없다면 Windows 키를 눌러 인터넷 옵션을 검색해 실행합니다.
6. 인터넷 옵션의 내용 탭으로 이동한 후 인증서를 클릭합니다.
7. 문제 웹사이트의 인증서가 적절한 탭(일반적으로 개인)에 표시되는지 확인합니다.
8. 인증서를 더블클릭하여 속성/유효성을 점검합니다.
9. 인증서에 유효한 공개 키가 연결되어 있는지 확인합니다. 인증서 속성의 자세히 탭에서 확인할 수 있습니다.
10. 인터넷 옵션의 고급 탭으로 이동해 TLS 항목들을 활성화하고 SSL 관련 체크박스는 해제합니다.
11. 변경 사항을 적용한 후 브라우저를 재시작하고 핸드셰이크 오류가 해결되었는지 확인합니다.

인증서가 인증서 관리자의 올바른 탭에 표시되지 않거나 재설치할 수 없다면, Microsoft 공식 문서에서 상세 과정을 참고하세요.

Firefox로 인증서 가져오기

Firefox는 운영체제 인증서 관리자의 많은 인증서를 사용하지 않으므로, 인증서를 Firefox에 직접 가져와야 할 수 있습니다.

1. Firefox를 실행하고 메뉴를 엽니다.
2. 설정을 선택한 후 왼쪽의 개인 정보 및 보안 탭을 클릭합니다.
3. 아래로 스크롤한 후 인증서 보기를 클릭합니다.
4. 내 인증서 탭(또는 발급 기관이 권장하는 탭)에서 가져오기를 클릭하고 인증서 파일을 찾아 선택합니다.
5. 인증서를 선택하고 변경 사항을 적용합니다.
6. Firefox를 재실행하고 SSL 핸드셰이크 문제가 해결되었는지 확인합니다.

그래도 문제가 지속된다면 문제의 웹사이트 운영자에게 문의하여 보안 설정이 정상 작동하는지 확인해 보세요. 조직 인프라가 오래된 하드웨어를 사용 중이라면, VM(가상머신)에 구형 OS(예: XP)를 설치해 해당 장치에 접근하는 방법도 있습니다.

서버 측 문제 해결 가이드

서버 측 원인(다양한 머신, 장치, 응용 프로그램 등)을 모두 다루기는 현실적으로 어렵지만, 사용자들에게 효과가 있었다고 보고된 해결 방법은 다음과 같습니다.

1. 서버 구성에서 다음 항목을 삭제했을 때 문제가 해결되는지 확인합니다:

   SSLVerifyClient require
   
   SSLVerifyDepth 10

2. Apache 사용 시 SSLCACertificatePath를 ~~~~~~/ca/certs/ca.cert.pem으로 설정하고 SSLVerifyDepth 1을 SSLVerifyDepth 10으로 변경해 보세요. 그리고 클라이언트 인증서를 PFX에서 PEM 형식으로 변환합니다. 이후 SSL 문제가 해결되었는지 확인합니다.
3. 인증서를 PrintableString이 아닌 UTF8String으로 재생성했을 때 핸드셰이크 문제가 해결되는지 확인합니다.
4. 조직에서 SAP Cloud Connector를 사용한다면 Cloud Connector를 종료한 후 props.ini 파일을 열고 #jvm 섹션에 다음 줄을 추가한 뒤 SSL 문제가 해결되는지 확인합니다:

   -Djdk.tls.server.protocols=TLSv1.2

5. 서버가 양방향 TLS(two-way TLS)를 사용하도록 구성했을 때 핸드셰이크 오류가 해결되는지 확인합니다.