웹 사용 마이닝의 개념
웹 사용 마이닝(Web Usage Mining)은 웹 로그 데이터로부터 유용한 데이터, 정보, 지식을 추출하는 기술로, 사용자가 웹 페이지에 접근하는 패턴을 파악하는 데 활용됩니다.
웹 리소스를 관리하는 관점에서 보면, 관심 대상은 웹 서버 로그 형태로 기록되는 사이트 방문자들의 요청 데이터입니다. 웹 페이지 집합의 내용과 구조가 페이지 작성자의 의도를 반영한다면, 개별 요청 기록은 사용자가 실제로 이러한 페이지를 어떻게 이용하는지를 보여줍니다. 따라서 웹 사용 마이닝은 페이지 설계자가 예상하지 못했던 숨겨진 관계와 패턴을 밝혀낼 수 있습니다.
웹 서버 로그의 구조
웹 서버는 일반적으로 웹 페이지에 대한 모든 접근마다 하나의 로그 항목(웹로그 엔트리)을 기록합니다. 각 항목에는 요청된 URL, 요청이 발생한 IP 주소, 그리고 접속 시각을 나타내는 타임스탬프가 포함됩니다.
방대한 로그 데이터와 그 가치
웹 기반 전자상거래 서버에서는 막대한 양의 웹 접근 로그 데이터가 수집됩니다. 유명 웹사이트의 경우 하루에 수천 메가바이트 규모의 웹로그 레코드가 쌓이기도 합니다. 웹로그 데이터베이스는 웹의 동적인 특성에 대한 풍부한 정보를 담고 있기 때문에, 정교한 웹로그 마이닝 기법을 개발하는 것이 필수적입니다.
웹 사용 마이닝 기법 개발 시 고려 사항
1. 신뢰할 수 있는 지식 확보
웹로그 파일 분석의 다양한 응용 가능성을 상상하는 것은 흥미로운 일이지만, 이러한 응용의 성공 여부는 결국 방대한 원시 로그 데이터로부터 얼마나 많은 정확하고 신뢰할 수 있는 지식을 발견하느냐에 달려 있다는 점을 인식해야 합니다.
2. 다차원 분석(OLAP) 활용
URL, 시간, IP 주소, 웹 페이지 콘텐츠 등의 데이터를 활용하면 웹로그 데이터베이스 위에 다차원 뷰를 구축할 수 있습니다. 이를 바탕으로 다차원 OLAP 분석을 수행하면 최다 접속 사용자(Top N), 가장 많이 방문된 웹 페이지, 접속이 집중되는 시간대 등을 파악할 수 있으며, 이는 잠재 고객, 사용자, 시장을 발굴하는 데 큰 도움이 됩니다.
3. 패턴 및 트렌드 발견
웹로그 레코드에 데이터 마이닝을 적용하면 연관 패턴(association pattern), 순차 패턴(sequential pattern), 웹 접근 트렌드를 발견할 수 있습니다. 정확한 웹로그 분석을 위해서는 사용자의 탐색 경로에 대한 추가 정보를 확보하는 후속 조치가 필요합니다.
추가 데이터 확보와 응용 분야
여기서 말하는 추가 데이터에는 웹 서버 버퍼에 저장된 사용자의 페이지 탐색 시퀀스(browsing sequence)가 포함될 수 있습니다. 이러한 웹로그 문서의 필요성에 따라 다음과 같은 주제로 연구가 진행되어 왔습니다.
- 시스템 성능 분석
- 웹 캐싱(web caching), 웹 페이지 프리페칭(prefetching), 웹 페이지 스왑(swapping)을 통한 시스템 설계 개선
- 웹 트래픽 특성 이해
- 고객 반응과 구매 동기 분석
예를 들어, 일부 연구에서는 사용자 접근 패턴으로부터 학습하여 스스로를 개선하는 '적응형 사이트(adaptive site)'라는 개념을 제안했습니다. 또한 웹로그 분석은 개별 사용자를 위한 맞춤형 웹 서비스를 구축하는 데에도 활용될 수 있습니다.