웹 구조 마이닝(Web Structure Mining)은 데이터나 직접적인 링크 연결로 이어진 웹 페이지 간의 관계를 인식하는 도구입니다. 이러한 구조화된 데이터는 웹 페이지에 대한 웹 구조 스키마를 데이터베이스 기법으로 제공함으로써 발견할 수 있습니다.
검색 엔진은 어떻게 활용할까?
이러한 연결 구조 덕분에 검색 엔진은 검색 쿼리와 관련된 데이터를 해당 콘텐츠가 실제로 존재하는 웹사이트에서 직접 가져와 연결된 웹 페이지에 전달할 수 있습니다. 이 과정은 스파이더(크롤러)가 웹사이트를 스캔하고 홈페이지를 가져온 뒤, 참조 연결을 통해 데이터를 연결하여 원하는 정보가 담긴 특정 페이지를 찾아내는 방식으로 이루어집니다.
웹 마이닝과 데이터 마이닝의 관계
웹 마이닝은 넓은 의미에서 조정된 데이터 마이닝 기법을 웹에 적용하는 것으로 볼 수 있습니다. 반면 데이터 마이닝은 주로 구조화된 데이터에서 패턴을 찾기 위해 알고리즘을 지식 발견(Knowledge Discovery) 프로세스에 적용하는 것을 의미합니다.
웹 마이닝은 다양한 데이터 유형을 동시에 지원할 수 있다는 독특한 특성을 지니고 있습니다. 웹은 마이닝 프로세스에 여러 접근 방식을 가능하게 하는데, 대표적으로 텍스트를 포함하는 웹 페이지, 하이퍼링크로 상호 연결된 웹 페이지, 그리고 웹 서버 로그를 통해 모니터링할 수 있는 사용자 활동 등이 있습니다.
웹 구조 마이닝이 해결하는 두 가지 문제
구조 마이닝은 방대한 데이터 양으로 인해 발생하는 월드 와이드 웹(WWW)의 두 가지 주요 문제를 최소화하는 데 기여합니다. 첫 번째 문제는 검색 결과의 부정확성입니다. 검색 엔진이 낮은 정밀도 기준만 허용하는 경우가 많아 검색 정보의 관련성이 왜곡되기 쉽습니다.
두 번째 문제는 웹에 축적된 방대한 데이터를 모두 색인(indexing)하지 못한다는 점입니다. 이는 콘텐츠 마이닝의 데이터 회수율 저하로 이어집니다. 웹 구조 마이닝이 제공하는 웹 하이퍼링크 구조의 기반 모델을 찾는 서비스를 통해 이러한 문제가 일부 완화됩니다.
웹 구조 마이닝의 목적과 비즈니스 활용
구조 마이닝의 궁극적인 목표는 웹 페이지 간의 아직 알려지지 않은 관계를 추출하는 것입니다. 이 데이터 마이닝 구조는 기업이 자사 웹사이트의 데이터를 연결하여 탐색을 용이하게 하고, 데이터를 사이트 맵 형태로 클러스터링하는 데 활용할 수 있습니다.
이를 통해 사용자는 키워드 관계와 콘텐츠 마이닝을 바탕으로 원하는 데이터를 생성할 수 있습니다. 또한 하이퍼링크 계층 구조를 분석하면 경쟁사 링크, 검색 엔진 및 서드파티 공동 링크(co-link)와의 연결을 통해 사이트 내 관련 데이터의 경로를 파악할 수 있습니다. 이렇게 연결된 웹 페이지들을 클러스터링하면 페이지들 간의 관계가 명확하게 드러납니다.
콘텐츠 유사성 분석과 SEO 효과
월드 와이드 웹에서 구조 마이닝을 활용하면 기본 구조 식별을 통한 클러스터링으로 동일한 아키텍처를 가진 웹 페이지를 판별할 수 있습니다. 이 데이터는 웹 콘텐츠 간의 유사성을 설계하는 데 활용될 수 있으며, 파악된 유사성은 웹 스파이더가 더 높은 비율로 사이트에 접근할 수 있도록 사이트 데이터를 보완하거나 개선하는 근거가 됩니다. 웹 크롤러의 방문 빈도가 높을수록 검색과 관련된 콘텐츠 노출 기회가 늘어나므로 사이트 운영에 더욱 유리합니다.