공개 키 암호 시스템(Public-Key Cryptosystem)은 하나의 키로 메시지를 암호화하면 반드시 다른 키로만 복호화할 수 있도록 설계된 암호화 방식입니다. 강력한 공개 키 시스템이란 알고리즘과 하나의 키를 완전히 파악하더라도 나머지 다른 키에 대한 어떠한 유용한 정보도 얻을 수 없어, 결국 메시지를 복호화할 방법 자체를 알 수 없는 시스템을 의미합니다.
공개 키 암호 시스템의 기본 원리
공개 키 암호화에서는 네트워크에 공개된 공개 키(public key)만 가지고는 개인 키(private key)를 계산해 내는 것이 사실상 불가능합니다. 바로 이 특성 덕분에 공개 키는 네트워크 상에 자유롭게 배포·공개될 수 있습니다.
사용자가 특정 수신자의 공개 키로 메시지를 암호화하면, 그 메시지는 오직 해당 수신자가 보유한 개인 키로만 복호화할 수 있습니다. 반대로 어떤 사용자가 자신의 개인 키로 메시지를 암호화하면, 그 메시지는 해당 사용자의 공개 키로 복호화할 수 있는데, 이 과정이 바로 디지털 서명(Digital Signature)의 원리입니다.
키의 크기와 관리 방식
공개 키 암호화에서 생성되는 키는 512비트, 1024비트, 2048비트 등 매우 긴 길이를 가집니다. 이런 키는 사람이 외우거나 직접 관리하기 어렵기 때문에, 일반적으로 USB 토큰이나 HSM(Hardware Security Module, 하드웨어 보안 모듈) 같은 전용 장치에 안전하게 저장하여 관리합니다.
공개 키 암호 시스템의 보안 위협
공개 키 암호 시스템이 직면한 대표적인 문제는 공격자가 정당한 사용자로 가장할 수 있다는 점입니다. 공격자는 공개 키 디렉터리에 등록된 공개 키를 자신이 만든 위조 키로 몰래 교체할 수 있습니다.
나아가 통신 내용을 가로채거나 교환되는 키 자체를 변조할 위험도 존재합니다. 공개 키 암호화는 온라인 결제 서비스, 전자상거래(e-commerce) 등에서 필수적인 역할을 담당하지만, 이러한 온라인 서비스가 진정으로 안전하기 위해서는 공개 키의 유효성과 사용자 서명의 신뢰성이 확보되어야 합니다.
공개 키 암호화가 제공하는 보안 서비스
비대칭 암호 시스템은 기밀성(Confidentiality), 인증(Authentication), 무결성(Integrity), 부인 방지(Non-repudiation)라는 네 가지 핵심 보안 서비스를 구현해야 합니다.
- 공개 키는 인증과 부인 방지 서비스를 지원합니다.
- 개인 키를 이용한 암호화 과정은 기밀성과 무결성 보안 서비스를 담당합니다.
주요 응용 분야: 디지털 서명과 데이터 암호화
공개 키 암호화의 대표적인 활용 분야는 디지털 서명과 데이터 암호화입니다. 데이터 암호화는 정보의 기밀성과 무결성을 보장하고, 공개 키 기반 구조는 인증과 부인 방지 기능을 제공합니다.
디지털 서명은 온라인 환경에서 특히 유용합니다. 사용자의 신원을 인증하고 거래에 대한 확실성을 보장해 줍니다. 디지털 서명은 사용자의 개인 키로 생성되며, 암호화 대상 정보에 해시(hash) 함수를 적용하는 과정을 포함합니다.
생성된 디지털 서명 데이터는 해당 사용자의 공개 키로 검증하며, 한 번 만들어진 디지털 서명은 누구도 임의로 변경하거나 변조할 수 없습니다.
디지털 서명의 최대 장점: 위조 불가능성
디지털 서명의 가장 큰 장점은 위조가 사실상 불가능하다는 점입니다. 반면 종이 문서에 찍히는 전통적인 물리적 서명은 위조가 얼마든지 가능합니다. 따라서 디지털 서명은 사용자나 파일의 고유한 신원(identity)을 보장하는 신뢰할 수 있는 수단으로 자리 잡았습니다.