구글로 찾을 수 없다면 애초에 존재하지 않는 정보일까요? 온라인 정보를 찾는 데 있어 구글이 훌륭한 도구인 것은 사실이지만, 실제로 구글로 찾을 수 있는 것은 세상에 존재하는 정보 중 극히 일부분에 불과합니다. 구글은 수십억 개의 페이지를 색인하고 있지만, 여러 가지 이유로 색인되지 않은 페이지도 수백, 어쩌면 수천 개에 달합니다. 이런 페이지들은 딥 웹(Deep Web) 속에 숨겨져 있으며, 올바른 검색 방법만 알고 있다면 충분히 찾아낼 수 있습니다.
딥 웹과 다크 웹, 무엇이 다를까?
구글에 색인되지 않은 페이지 이야기를 하면 많은 분들이 먼저 다크 웹(Dark Web)을 떠올리곤 합니다. 다크 웹(다크넷이라고도 불림) 역시 구글에 색인되지 않은 사이트·페이지에 해당하지만, 다크 웹과 딥 웹은 전혀 다른 개념입니다.
딥 웹 페이지의 대표적인 예는 페이스북의 비공개 그룹입니다. 로그인 후에만 접근할 수 있는 페이지이기 때문에 구글봇(Googlebot)이 로그인할 수 없어 색인되지 않습니다. 하지만 사용자가 직접 로그인하면 해당 페이지를 열람할 수 있습니다. 마찬가지로 결제가 필요한 페이지도 구글봇은 색인할 수 없지만, 사용자는 결제 후 자유롭게 볼 수 있습니다.
nofollow 링크나 깨진 링크, 사용자의 검색 요청에 따라 실시간으로 생성되는 동적 페이지 역시 검색 엔진의 색인을 막지만, 사람은 이 정보에 접근할 수 있습니다. 이미지나 동영상처럼 검색 엔진은 이해하지 못하지만 사람은 이해할 수 있는 형식의 정보도 딥 웹 콘텐츠에 해당합니다. 이런 페이지들은 일반 브라우저로 접근 가능하며, 대체로 http(또는 https) 프로토콜을 사용합니다.
반면 다크 웹은 자체 암호화 기능을 내장한 별도의 라우팅 프로토콜을 사용합니다. 대표적인 프로토콜로 TOR와 I2P가 있으며, 다크 웹에는 불법 자료도 상당수 존재하기 때문에 검색 엔진은 설령 가능하더라도 이를 색인하지 않습니다.
딥 웹과 다크 웹의 차이를 살펴봤으니, 이제 딥 웹에서 원하는 자료를 찾는 구체적인 방법을 알아보겠습니다.
1. 다른 검색 엔진 활용하기
어떤 페이지는 여러 가지 이유로 구글에서는 접근할 수 없지만, 다른 검색 엔진에는 색인되어 있는 경우가 있습니다. 엄밀히 말하면 이 경우 해당 페이지는 딥 웹에 속하지 않습니다(검색 엔진으로 접근 가능하므로). 하지만 모든 검색을 구글로만 시작하고 끝내는 사람들에게는 그 페이지가 존재하지 않는 것이나 마찬가지입니다. DuckDuckGo, 지역 검색 엔진, 심지어 Bing 같은 다른 검색 엔진을 가끔씩 함께 사용하는 습관을 들이면, 의외로 유용한 자료를 많이 발견하게 되어 놀랄 수도 있습니다.
2. 구글로 메인 페이지를 찾은 후 직접 탐색하기
또 다른 경우로, 구글에는 사이트의 메인 페이지만 색인되어 있는 경우가 있습니다. 로그인이나 결제가 필요한 사이트, 또는 구글이 색인하지 않은 nofollow 링크가 있는 사이트에서 주로 발생하는 현상입니다. 이런 경우 해결책은 의외로 간단합니다. 구글로 메인 페이지를 찾은 뒤 사이트를 직접 탐색하면 됩니다. 사이트에 자체 검색 기능이 있다면 더욱 쉽게 원하는 자료를 찾을 수 있습니다.
3. 구글 북스 활용 또는 도서관 방문
학술 정보를 찾을 때는 구글 북스(Google Books)를 활용해 보세요. 특정 문서가 존재한다는 것을 알면서도 구글 북스에서 찾을 수 없다면, 도서관, 특히 대학 도서관을 방문해 보세요. 많은 대학 도서관은 유료 학술 데이터베이스를 구독하고 있으며, 외부인에게도 무료로 개방하는 경우가 많습니다.
4. 딥 웹 전용 검색 엔진 활용하기
의외로 들리겠지만, 딥 웹에도 자체 검색 엔진이 존재합니다. 사용자 인터페이스나 기능 면에서 구글보다 한참 뒤처져 보일 수 있지만, 겉모습만으로 판단해서는 안 됩니다.
이런 검색 엔진은 종류가 매우 많아 원하는 것을 찾는 데 상당한 시간이 걸릴 수 있습니다. 최악의 경우 며칠 혹은 몇 주를 허비해도 아무것도 찾지 못할 수도 있습니다. 딥 웹 검색 엔진 목록을 참고해 관심 분야에 맞는 검색 엔진을 골라보세요. 또한 현재 페이지의 과거 버전이나 예전에는 온라인에 있었지만 지금은 사라진 자료를 찾고 있다면, 인터넷 아카이브(Internet Archive) 프로젝트를 이용하는 것이 좋습니다.
딥 웹에서 자료를 찾는 것은 다소 번거로울 수 있지만, 고도로 전문화된 정보를 찾고 있다면 일반 검색 엔진보다 딥 웹에서 더 좋은 결과를 얻을 가능성이 높습니다.