대부분의 인터넷 사용자에게 온라인 세계는 구글(Google.com)에서 시작되고 끝납니다. 하지만 구글조차 웹상의 모든 정보를 찾아낼 수는 없습니다. 구글이 접근할 수 없는 깊고 보이지 않는 웹, 이른바 '딥 웹(Deep Web)'이 존재하기 때문입니다. 일반적인 방법으로는 쉽게 찾기 어려운 정보를 얻으려면 특수한 검색 엔진이 필요합니다. 지금부터 인비저블 웹(Invisible Web)이 무엇인지, 그리고 가장 뛰어난 딥 웹 검색 엔진들을 소개해 드리겠습니다.
인비저블 웹이란 무엇일까요?
인비저블 웹과 딥 웹 검색 엔진이 어떤 도움을 주는지 이해하려면, 먼저 웹의 세 가지 계층에 대해 알아야 합니다.
간단히 정리하면 다음과 같습니다.
- 서페이스 웹(Surface Web): 대부분의 인터넷 사용자가 머무는 영역으로, 구글이 검색하는 바로 그 웹입니다. 검색 엔진은 서페이스 웹에 속한 사이트들을 크롤링하고 색인합니다. 일반인이 '인터넷'이라고 알고 있는 것이 바로 이곳입니다.
- 딥 웹(Deep Web): 온라인 검색 결과나 웹 페이지에 직접 나타나지 않는 데이터베이스, 서버, 프로그램들의 집합입니다. 전문가들은 딥 웹이 서페이스 웹보다 훨씬 방대하다고 평가합니다.
- 다크 웹(Dark Web): 뉴스나 영화에서 종종 접하는 영역입니다. 마약이나 무기 거래 같은 불법 활동의 소굴로 여겨지곤 하지만, 다크 웹 전체가 그런 것은 아닙니다. 다만 접근하려면 Tor처럼 매우 특수한 브라우저가 필요합니다.
그렇다면 인비저블 웹이란 무엇일까요? 대체로 인비저블 웹은 범용 웹 크롤러가 도달하지 못하는 딥 웹 영역 안에 존재합니다. 예를 들어, 대부분의 공공 기록은 개별 정적 웹 페이지가 아닌 데이터베이스에 저장됩니다. 이 때문에 구글에는 '보이지 않지만', 딥 웹 검색 엔진을 통해 해당 정보를 얻을 수 있습니다.
1. 아미아(Ahmia)
아미아는 Tor 브라우저에서 사용하도록 설계된 검색 엔진 중 하나입니다. Tor 사용자들 사이에서 널리 쓰이지만, 일반 브라우저에서도 구글 같은 검색 엔진의 프라이버시 중심 대안으로 활용할 수 있습니다. 구글에서 찾을 수 있는 것보다 더 많은 결과를 제공하며, 광고를 기준으로 결과를 정렬하거나 필터링하지 않습니다.
크라우드소싱과 오픈소스 기반으로 운영되지만, 그렇다고 완전히 무분별한 것은 아닙니다. 아미아는 여전히 유해하고 위험한 사이트를 걸러내며, 사용자를 속이려는 사이트에 대한 경각심을 높이는 데도 기여해 왔습니다.
2. USA.gov
짐작할 수 있듯이, 미국 정부 기관, 주, 법률, 세금 정보, 일자리 등 공개 가능한 모든 정보를 담고 있는 공식 정부 저장소에는 방대한 자료가 축적되어 있습니다. 이곳에서는 각 부처 사이트는 물론 부족 정부 사이트까지 연결되며, 출생 및 사망 증명서부터 오래된 법률 정보까지 다양한 기록에 접근할 수 있습니다. 철저한 조사를 원하는 사람들에게 강력한 정보원이 될 것입니다.
3. 덕덕고(DuckDuckGo)
덕덕고는 사용자를 추적하지 않는 프라이버시 보호에 중점을 두면서 서페이스 웹 검색을 지원합니다. 그런데 덕덕고에는 딥 웹 검색을 가능하게 하는 숨겨진 면모도 있습니다. .onion 버전과 함께 사용하면 딥 웹을 포함한 훨씬 넓은 범위의 웹 검색이 가능해집니다. 단, Tor 브라우저가 필요하다는 점에 유의하세요.
4. 웨이백 머신(Wayback Machine)
웨이백 머신이 진정으로 특별한 이유는, 구글이나 빙(Bing)처럼 현재 웹사이트에 있는 내용만 살펴보는 것이 아니라 더 이상 접근할 수 없는 과거 콘텐츠까지 열람할 수 있기 때문입니다. 100테라바이트가 넘는 데이터, 약 5,930억 개의 웹 페이지를 보유하고 있어 공개된 사이트라면 그 변천사를 모두 확인할 수 있습니다.
5. 낫이빌(notEvil)
덕덕고와 마찬가지로 낫이빌도 Tor 브라우저가 필요하지만, 3,200만 개가 넘는 웹사이트를 색인하고 있어 더 많은 결과를 얻을 수 있습니다. 주소창에 https://hss3uro2hsxfogfq.onion 을 입력하면 딥 웹 검색을 시작할 수 있습니다. 알고리즘이 정기적으로 업데이트된다고 알려져 있으며, 사용자 인터페이스도 매우 직관적입니다. 딥 웹의 진입점을 찾고 있다면 좋은 출발점이 될 것입니다.
6. 토치(Torch)
공개적으로 알려진 가장 오래된 딥/다크 웹 사이트 중 하나인 토치는 모든 Tor 브라우저에서 이용할 수 있습니다(Tor Search = Torch). 오랜 역사를 지닌 사이트치고는 3초의 빠른 응답 속도를 자랑합니다. 이 목록의 대부분 사이트와 마찬가지로, 토치 역시 사용자를 추적하거나 검열하지 않으며 프라이버시를 철저히 존중한다고 강조합니다. 가장 큰 단점이 있다면 바로 광고입니다.
7. 오픈 액세스 저널 디렉터리(DOAJ)
읽고 싶은 학술 저널을 찾았는데 구독이 필요하다는 사실에 실망한 적이 몇 번이나 있었나요? 오픈 액세스 저널 디렉터리(Directory of Open Access Journals)가 해결책이 되어 줍니다. 126개국에서 발행된 80개 언어권의 11,800개가 넘는 저널을 제공하며, 주제도 농업, 교육, 역사, 의학, 법학, 군사학, 과학기술 등 매우 다양합니다.
8. 엘레핀드(Elephind)
세계의 역사 신문 아카이브를 뒤져보고 싶었던 적이 있다면, 엘레핀드가 딱 맞습니다. 4,300여 개의 신문에서 380만 개가 넘는 신문 자료를 제공하며, 총 2억 건이 넘는 아카이브를 자유롭게 활용할 수 있습니다. 리서치를 수행하는 학생이나 가계도(족보) 연구자에게 완벽한 사이트입니다.
9. 월드캣(WorldCat)
월드캣 같은 사이트는 데이터베이스 색인을 중심으로 하는 딥 웹의 가치를 실감하게 해 줍니다. 자료 하나를 찾기 위해 도서관을 일일이 돌아다니는 것은 엄청난 시간 낭비죠. 월드캣이 그 작업을 대신해 줍니다. 도서, DVD, CD, 논문 등이 모두 검색 대상이며, 나중을 위해 자료 목록을 만들고 싶다면 계정을 만들 수도 있습니다.
10. 스포코(Spokeo)
스포코는 딥 웹의 '사람 중심' 정보에 특화된 서비스입니다. 120억 건이 넘는 공공 기록에 접근할 수 있다고 주장하며, 역방향 전화번호 조회를 시작하기에 좋은 곳입니다. 좀 더 깊은 정보가 필요하다면 이메일 주소, 범죄 기록, 소셜 미디어 프로필, 현재 및 과거 주소 등도 검색할 수 있습니다. 스포코는 10자리 전화번호만으로 대부분의 사람 관련 정보 검색을 대신 처리해 줍니다.
11. 히든 위키(The Hidden Wiki)
활성화된 .onion 사이트의 종합 목록을 찾고 있다면, 히든 위키가 첫 번째 경유지가 되어야 합니다. .onion 주소를 보려면 Tor가 필요하지만, 인비저블 웹으로 들어가는 최고의 입구들을 발견할 수 있는 훌륭한 장소입니다. 다만 다크 웹에 익숙하지 않은 분들은 각별히 주의해야 합니다.
자주 묻는 질문
1. 인비저블 웹을 배워서 사용해야 할까요?
솔직히 말씀드리면, 그것은 본인만이 답할 수 있는 질문입니다. 인비저블 웹을 무엇에 사용하고 싶으신가요? 도서관 자료를 찾거나 옛 신문을 뒤져보는 용도라면 분명히 유용합니다. 하지만 스포코 같은 사이트는 반드시 선한 의도로만 사용해야 합니다.
2. 인비저블 웹은 안전한가요?
다크 웹까지 발을 들이기 시작하면, 문제는 안전보다 합법성에 가깝습니다. 딥 웹 영역에 머무른다면 온라인 안전이 크게 걱정되지 않는 일들이 많습니다. Tor 사용법을 익히는 것이 딥 웹과 실제로 할 수 있는 일에 익숙해지는 가장 좋은 방법 중 하나입니다.
3. 딥 웹을 사용하면 문제가 될 수 있나요?
동료나 이웃을 조사하기 위해 스포코 같은 사이트를 사용한다면, 그렇습니다. 그런 활동은 삼가는 것이 좋습니다. 반면 도서관 장서를 확인하거나 옛 신문을 열람하거나 학술 저널을 찾는 용도라면 전혀 문제없습니다.
마무리
결국 딥 웹 검색은 신중하게 이루어져야 합니다. 여기서 소개한 딥 웹 검색 엔진 중 일부는 탐험해도 전혀 문제없지만, Tor의 세계로 들어서는 순간 온라인 경계심을 높여야 합니다. 클릭 한 번으로 인터넷의 토끼굴 속으로 빨려 들어가 원치 않는 곳에 도달하기 쉽습니다. 구글에 남긴 검색 기록이 걱정된다면 구글 검색 기록 삭제 방법을 미리 알아두는 것도 좋습니다.