데이터 스크래핑에 대해 들어본 적이 있다면, 자동화된 기술을 활용하면 일일이 손으로 작업하지 않고도 대량의 데이터를 수집할 수 있다는 점이 매력적으로 다가올 것입니다.
그렇다면 데이터 스크래핑은 정확히 어떤 방식으로 작동하는 걸까요? 배우기 어려운 분야인지, 아니면 누구나 쉽게 시작할 수 있는지 궁금해질 수 있습니다.
단순한 호기심 때문일 수도 있고, 사업 또는 부업에 데이터 스크래핑을 활용할 수 있는지 알아보려는 것일 수도 있습니다.
어떤 이유든 이 글을 끝까지 읽으면 데이터 스크래핑이 무엇인지, 실제 스크래핑 과정이 어떻게 진행되는지, 그리고 어떻게 시작할 수 있는지 명확하게 이해하게 될 것입니다.
준비되셨나요?
데이터 스크래핑이란 무엇인가?
먼저 기본 개념부터 살펴보겠습니다. 데이터 스크래핑(data scraping)이란 무엇일까요?
데이터 수확(data harvesting) 또는 웹 스크래핑(web scraping)이라고도 불리는 데이터 스크래핑은 웹페이지에서 데이터를 수집하여 로컬 데이터베이스나 파일(예: 스프레드시트)에 저장하는 과정을 말합니다.
참고로 웹페이지를 직접 방문해서 데이터를 복사해 스프레드시트에 옮기는 것도 데이터 수집에는 해당하지만, '데이터 스크래핑'이라는 용어는 일반적으로 자동화된 방식을 의미합니다.
더 구체적으로 말하면, 사람들이 흔히 떠올리는 데이터 스크래핑은 로봇(봇)의 도움을 받아 수행되는 자동화된 데이터 추출 방식입니다.
그렇다면 이 모든 것이 실제로는 어떻게 작동하는 걸까요?
데이터 스크래핑은 어떻게 작동할까?
사실 웹사이트에서 데이터를 긁어오는 방법은 여러 가지가 있습니다. 앞서 언급했듯이 페이지를 직접 방문해 원하는 형식으로 복사·붙여넣기를 하는 수동 방식도 가능합니다. 하지만 아마 여러분이 기대했던 답은 아닐 겁니다.
반자동 방식으로는 마이크로소프트 엑셀의 웹 쿼리(web query) 기능을 활용할 수 있습니다. 이 기능을 사용하면 웹페이지의 데이터를 엑셀로 가져올 때 일일이 복사·붙여넣기를 하지 않아도 됩니다.
엑셀에 이미 익숙하다면 비교적 쉽게 익힐 수 있으며, 마이크로소프트 공식 지원 페이지에서 관련 정보를 찾아볼 수 있습니다. 그래도 이 역시 여러분이 찾던 답은 아닐 가능성이 큽니다.
수십, 수백 개의 서로 다른 사이트와 페이지에서 동시에 데이터를 수집하고 싶다면 엑셀 기능만으로는 감당하기 어렵습니다. 이럴 때 필요한 것이 바로 전용 웹 스크래퍼(web scraper)입니다.
자동화된 데이터 스크래핑의 작동 원리
자동화된 데이터 스크래핑은 웹 크롤러(web crawler)라고 불리는 로봇이 대신 웹페이지를 방문해 데이터를 지정된 데이터베이스나 스프레드시트에 옮겨 담는 방식으로 작동합니다.
기본적인 작동 단계는 다음과 같습니다:
1. 크롤링할 URL 또는 URL 목록을 정해 봇에게 입력한다
2. 봇이 각 페이지에 GET 요청을 보내 데이터에 접근하고 콘텐츠를 다운로드(fetch)한다
3. 수집된 데이터는 파싱(parsing)되거나 형식이 변환되거나 원본(raw) 상태로 추출된다
4. 추출된 데이터가 데이터베이스나 스프레드시트에 저장되어 자유롭게 활용할 수 있게 된다
요컨대 이것이 웹 스크래퍼의 작동 방식입니다. 하지만 직접 만드는 게 쉽다고 생각하기 전에 한 번 더 생각해 보세요.
직접 데이터 스크래퍼를 만들 때의 문제점
물론 처음부터 직접 데이터 스크래퍼를 만들 수도 있습니다. 하지만 그 과정에서 몇 가지 장애물이 있다는 점을 미리 알아두어야 합니다.
첫째, 코딩을 할 줄 알아야 합니다. 이미 프로그래밍 경험이 있더라도 웹 크롤러를 직접 구축하는 방법을 익히려면 상당한 시간 투자가 필요합니다.
둘째, 대부분의 웹사이트 운영자는 자신의 데이터가 스크래핑되는 것을 원치 않습니다. 이를 막기 위해 요청 빈도 제한, IP 차단, CAPTCHA(사람 인증), User-Agent 검증 등 다양한 차단 조치를 적극적으로 적용합니다.
이런 장치들을 우회하려면 최신 차단 기법에 맞춰 봇을 끊임없이 업데이트해야 할 뿐 아니라, IP 주소를 순환(rotation)할 수 있도록 프록시에도 투자해야 합니다.
셋째, 결국 봇을 지속적으로 유지·보수해야 합니다. 규모를 확장하려면 더 많은 시간이 듭니다. '쉽게 만들 수 있을 것 같았던' 봇이 어느새 소중한 시간을 몇 시간씩 잡아먹는 복잡한 프로젝트로 변해버리는 것이죠.
데이터 스크래핑 소프트웨어 활용하기
다른 방법으로는 이미 만들어진 도구와 데이터 스크래핑 소프트웨어에 작업을 맡기는 것입니다.
시중에는 무료 크롬 확장 프로그램(예: Webscraper.io)부터 거의 모든 데이터를 스크래핑할 수 있는 유료 소프트웨어(예: Octoparse)까지 수백 가지 도구가 있습니다.
특정 용도에 특화된 스크래퍼도 많습니다. 예를 들어 아마존 전용 스크래퍼나 구글 전용 스크래퍼 등 사업 목적에 맞는 도구를 선택할 수 있습니다.
일부 도구는 유료지만 장기적으로 보면 충분히 값어치를 합니다. 고급 데이터 스크래핑 소프트웨어는 앞서 언급한 문제들을 대신 처리해 줍니다. IP 순환은 물론 reCAPTCHA 통과까지 가능합니다.
직접 정교한 데이터 스크래퍼를 만드는 데 드는 시간과 비용을 합산해 보면, 월 이용료가 결코 아깝지 않다는 사실을 금방 깨닫게 될 것입니다.