SSL/TLS는 네트워크의 어느 계층에서 작동할까?
SSL(Secure Sockets Layer)과 TLS(Transport Layer Security)는 인터넷 통신을 암호화하여 도청, 사기, 데이터 변조로부터 정보를 보호하는 대표적인 보안 프로토콜입니다. 암호화 알고리즘을 활용해 웹 통신의 기밀성, 인증, 무결성을 보장하죠. 그렇다면 SSL/TLS는 과연 OSI 7계층 모델 중 정확히 어느 계층에서 작동하는 걸까요? 이 글에서 그 답을 체계적으로 정리해 드립니다.
OSI 모델 기준으로 본 SSL/TLS의 계층 위치
일반적으로 TLS는 세션 계층(Session Layer, 5계층)에 속한다고 설명됩니다. 세션 계층은 세션의 식별, 무결성 유지, 연결 설정(start-up)과 해제(tear-down), 세션 관리를 담당하기 때문입니다.
반면 위키백과 등 일부 자료에서는 SSL/TLS를 프레젠테이션 계층(Presentation Layer, 6계층)으로 분류하기도 합니다. 프레젠테이션 계층은 암호화와 데이터 표현 형식을 담당하며, 상위 계층에 암호화 서비스를 제공하는 역할을 하기 때문입니다.
왜 특정 계층 하나로 규정하기 어려운가?
결론부터 말하자면, SSL/TLS는 OSI 모델이나 TCP/IP 모델의 어느 한 계층에 깔끔하게 대응되지 않으며, 애플리케이션 계층과 전송 계층 '사이'에 위치한다고 보는 것이 가장 정확합니다.
TLS가 동작하려면 TCP처럼 신뢰할 수 있는 전송 프로토콜이 반드시 필요합니다. 네트워크 계층은 주소 지정과 라우팅을 담당하고, 전송 계층은 흐름 제어와 오류 검출·복구를 통해 종단 간 신뢰성 있는 데이터 전송을 책임집니다. TLS는 이러한 전송 계층의 신뢰성 위에서 작동하면서, 동시에 상위 애플리케이션 계층(HTTP 등)에 암호화 서비스를 제공하는 역할을 수행합니다.
TLS의 내부 구조: 레코드 프로토콜과 핸드셰이크 프로토콜
TLS는 자체적으로 두 개의 하위 계층으로 구성되어 있으며, 인터넷 모델에서는 애플리케이션 계층의 일부로 간주됩니다.
- TLS 핸드셰이크 프로토콜(Handshake Protocol): 클라이언트와 서버가 서로의 신원을 인증하고, 암호화에 사용할 대칭 키를 안전하게 교환합니다.
- TLS 레코드 프로토콜(Record Protocol): 실제 데이터를 암호화하고 무결성을 검증하여, 패킷 단위로 안전하게 전송하는 역할을 담당합니다.
TLS가 사용하는 전송 프로토콜
TLS는 기본적으로 TCP와 같은 신뢰성 있는 전송 프로토콜을 전제로 설계되었습니다. 다만 UDP 같은 데이터그램 프로토콜 위에서도 동작하도록 확장된 DTLS(Datagram Transport Layer Security)가 존재하며, IP 기반 환경에 맞게 조정되어 폭넓게 활용됩니다. 또한 TLS는 HTTP 위에서 작동하여 인터넷상의 데이터 전송을 보호하고 인증된 연결을 가능하게 합니다.
SSL과 TLS의 차이점
SSL은 웹 초창기에 넷스케이프(Netscape)가 개발한 보안 프로토콜로, TCP 기반의 안전한 종단 간 암호화 통신을 제공했습니다. 이후 SSL은 TLS로 계승·발전되었으며, 현재 SSL은 더 이상 널리 사용되지 않지만 두 용어는 여전히 혼용되곤 합니다.
TLS는 SSL의 업그레이드 버전으로, 대칭키 암호화와 공개키 암호화를 함께 사용하고 메시지 인증 및 변조 탐지 같은 추가 보안 기능까지 갖추고 있어 SSL보다 훨씬 안전합니다. 두 프로토콜 모두 인터넷 트래픽을 인증하고 암호화하지만, 보안 관점에서는 항상 TLS 사용이 권장됩니다.
SSL/TLS의 주요 용도
SSL/TLS는 신용카드 결제, 데이터 전송, 로그인 인증 등 민감한 정보를 주고받는 거의 모든 온라인 활동에서 활용되며, 최근에는 소셜 미디어 이용 시에도 기본적으로 적용됩니다.
대표적인 예가 웹 브라우저와 웹 서버 간의 정보 교환입니다. SSL 인증서는 호스트명(도메인 이름 또는 서버 이름)과 조직 정보(회사명, 위치 등)를 연결하여 해당 웹사이트의 신원을 보증합니다. 디지털 세계에서 SSL은 신뢰할 수 없는 제3자가 인터넷을 통해 장치에 몰래 연결되는 것을 방지합니다. 웹사이트 주소가 HTTP에서 HTTPS로 바뀌는 것도 SSL/TLS가 적용되었다는 의미이며, 여기서 'S'는 Secure(보안)를 뜻합니다. SSL 인증서는 웹사이트 보안의 필수 요소로, 온라인 거래를 보호하고 고객 정보의 프라이버시를 지켜줍니다.
결론: SSL/TLS 계층 위치 요약
지금까지의 내용을 정리하면 다음과 같습니다.
- OSI 모델 기준으로 TLS는 세션 계층(5계층), SSL은 프레젠테이션 계층(6계층)으로 설명되기도 합니다.
- 그러나 실제로는 애플리케이션 계층과 전송 계층 사이에서 작동하며, 어느 한 계층에 속한다고 단정하기 어렵습니다.
- 네트워크 계층이 아닌 애플리케이션 계층의 데이터가 SSL을 통해 암호화되어 전송됩니다.
- TLS는 TCP 기반의 신뢰성 있는 전송을 전제로 하며, 핸드셰이크와 레코드라는 두 개의 하위 프로토콜로 구성됩니다.
- 현재는 SSL보다 보안성이 강화된 TLS를 사용하는 것이 업계 표준입니다.