이 글에서는 Python에서 제공하는 lxml 모듈을 활용해 웹 스크래핑(Web Scraping)을 구현하는 방법을 알아봅니다.
웹 스크래핑이란 무엇인가?
웹 스크래핑은 크롤러(Crawler) 또는 스캐너를 이용해 웹사이트로부터 데이터를 수집·추출하는 기술입니다. API를 제공하지 않는 웹 페이지에서 필요한 데이터를 가져와야 할 때 특히 유용하게 사용됩니다.
Python에서는 다양한 라이브러리를 통해 웹 스크래핑을 구현할 수 있으며, 대표적으로 Beautiful Soup, Scrapy, 그리고 lxml이 있습니다.
이 글에서는 그중 lxml 모듈을 이용한 웹 스크래핑 방법을 중점적으로 다룹니다.
1. lxml 설치하기
먼저 lxml을 설치해야 합니다. 터미널 또는 명령 프롬프트(cmd)에 아래 명령어를 입력하세요.
>>> pip install lxml
lxml은 XPath 문법을 사용해 HTML 요소에 접근하고 데이터를 추출합니다. XPath는 XML/HTML 문서 내의 특정 노드를 경로 표현식으로 빠르고 정확하게 찾아낼 수 있는 강력한 도구입니다.
2. 실습 대상 페이지 소개
이번 실습에서는 다양한 게임 정보를 담고 있는 Steam(스팀) 웹사이트에서 데이터를 추출해 보겠습니다.
대상 URL: https://store.steampowered.com/genre/Free%20to%20Play/
해당 페이지에서 인기 신작(Popular New Releases) 섹션의 정보를 추출할 것입니다. 구체적으로 다음 항목들을 가져옵니다.
- 게임 이름
- 가격
- 관련 태그
- 지원 플랫폼
3. HTML 구조 분석하기
크롬(Chrome) 브라우저의 검사(Inspect Element) 기능을 사용해 신작 게임 탭의 HTML 코드를 확인합니다. 이 과정을 통해 어떤 태그에 원하는 정보가 저장되어 있는지 파악할 수 있습니다.
Steam 웹사이트의 경우, 각 리스트 요소는 id=tab_content 속성을 가진 div 태그로 감싸져 있으며, 이 div 태그는 다시 아래와 같은 div 태그 안에 포함되어 있습니다.
a div tag id=tab_select_newreleases
즉, XPath를 작성할 때 이 계층 구조를 참고하면 원하는 데이터에 정확히 접근할 수 있습니다.
4. 구현 시작하기
HTML 구조 파악이 끝났다면, 이제 본격적으로 lxml을 활용한 스크래핑 코드를 작성해 보겠습니다. 다음 단계에서는 requests 라이브러리로 페이지를 불러오고, lxml의 etree 객체로 HTML을 파싱한 뒤 XPath 표현식으로 각 게임의 이름, 가격, 태그, 플랫폼 정보를 순차적으로 추출하는 방법을 살펴봅니다.