구글에서 찾을 수 없다면 아예 존재하지 않는 건가요? Google이 온라인에서 정보를 찾는 것만큼 훌륭하지만 진실은 그것으로 세상에 존재하는 정보의 아주 작은 부분만 찾을 수 있다는 것입니다. Google은 수십억 페이지의 색인을 생성하지만 수천은 아닐지라도 이런저런 이유로 색인에 없는 다른 페이지도 수백 개가 있습니다. 이 페이지는 딥 웹의 잔해 속에 숨겨져 있으며 검색 방법을 안다면 찾을 수 있을 것입니다.
딥 웹 또는 다크 웹?
Google에서 색인을 생성하지 않은 페이지에 대해 이야기할 때 가장 먼저 떠오르는 아이디어는 다크 웹일 것입니다. Darknet이라고도 하는 Dark Web은 Google에서 색인을 생성하지 않은 사이트/페이지의 설명에 적합하지만 Dark Web과 Deep Web은 같은 것이 아닙니다.
딥 웹 페이지의 예는 Facebook의 비공개 그룹입니다. 페이지는 로그인 후에만 액세스할 수 있고 Googlebot은 액세스하기 위해 로그인할 수 없으므로 페이지의 색인이 생성되지 않습니다. 단, 이 그룹에 로그인하면 해당 페이지를 볼 수 있습니다. 마찬가지로 페이지에 액세스하려면 결제가 필요한 경우 Googlebot이 해당 페이지의 색인을 생성할 수 없지만 결제 후에 볼 수는 있습니다.
팔로우하지 않거나 끊어진 링크 또는 사용자의 검색 쿼리 후 이동 중에 생성된 동적 페이지도 검색 엔진이 페이지를 인덱싱하지 못하게 하지만 사용자는 이 정보에 액세스할 수 있습니다. 이미지/비디오 또는 기타 형식의 정보는 검색 엔진이 이해하지 못하지만 인간은 이해하는 딥 웹 콘텐츠의 또 다른 예입니다. 이러한 페이지는 간단한 브라우저로 액세스할 수 있으며 일반적으로 http(또는 https) 프로토콜을 사용합니다.
반면 다크 웹은 암호화가 내장된 다른 라우팅 프로토콜을 사용합니다. 널리 사용되는 두 가지 프로토콜은 TOR 및 I2P입니다. 다크 웹에는 불법 리소스도 많이 포함되어 있으며 검색 엔진은 이러한 리소스를 색인화할 수 있다 하더라도 절대 색인을 생성하지 않습니다.
이제 딥 웹과 다크 웹의 차이점을 설명한 후 딥 웹에서 항목을 찾기 위해 무엇을 할 수 있는지 보겠습니다.
1. 다른 검색 엔진 사용해보기
어떤 이유로 Google에서는 페이지에 액세스할 수 없지만 다른 검색 엔진에서는 색인을 생성하는 경우가 있습니다. 기술적으로 말해서 이 경우 페이지는 딥 웹에 있지 않지만(검색 엔진을 통해 액세스할 수 있기 때문에), 검색이 Google로 시작되고 끝나는 모든 사용자의 경우 페이지가 없습니다. 구글 외에 지역 검색 엔진인 덕덕고(DuckDuckGo), 심지어 빙(Bing)과 같은 다른 검색 엔진을 가끔 사용하는 습관을 들이면 검색 엔진에서 찾을 수 있는 좋은 정보에 놀랄 수 있습니다.
2. Google에서 메인 페이지를 찾아 직접 이동
다른 경우 Google에는 사이트의 기본 페이지만 있습니다. 이는 로그인 또는 결제가 필요하거나 Google에서 색인을 생성하지 않은 팔로우하지 않는 링크가 있는 사이트에서 발생합니다. 이 경우 간단합니다. Google에서 기본 페이지를 찾은 다음 직접 사이트를 탐색하십시오. 사이트에 검색 기능이 있으면 작업이 훨씬 간편해집니다.
3. Google 도서를 사용하거나 도서관으로 이동
학술 정보를 보려면 Google 도서를 사용해 보세요. 문서가 있다는 것을 알고 있지만 Google 도서에서 찾을 수 없는 경우 도서관, 특히 학술 기관에 갈 수 있습니다. 대학의 많은 도서관에서 유료 데이터베이스를 구독하고 있으며 이러한 데이터베이스를 무료로 사용할 수도 있습니다.
4. 딥 웹 검색 엔진 사용해 보기
놀랍게 들리겠지만 Deep Web에는 자체 검색 엔진이 있습니다. 사용자 인터페이스나 기능과 같은 여러 측면에서 이러한 검색 엔진은 Google보다 몇 년 뒤쳐져 있지만 표지로 책을 판단하지는 않습니다.
이러한 엔진은 정말 많고 원하는 것을 찾는 데 상당한 시간이 걸릴 수 있습니다. 더 나쁜 것은 때때로 아무 소용이 없이 며칠 또는 몇 주를 보낼 수도 있습니다. 이 방대한 딥 웹 검색 엔진 목록을 확인하고 관심 영역에서 찾을 수 있습니다. 현재 페이지의 이전 버전과 온라인에 있었지만 더 이상 온라인 상태가 아닌 항목을 찾고 있다면 인터넷 아카이브 프로젝트를 시도하십시오.
Deep Web에서 항목을 찾는 것이 조금 어려울 수 있지만 고도로 전문화된 항목을 찾고 있다면 일반 검색 엔진보다 운이 더 좋을 수 있습니다.