웹 스크래핑(web scraping)은 거의 모든 산업 분야에서 인터넷상의 데이터를 추출하고 분석하기 위해 활용되고 있습니다. 기업들은 수집한 데이터를 바탕으로 새로운 비즈니스 전략과 제품을 기획합니다. 여러분의 데이터는 소중한 자산입니다. 개인정보 보호 조치를 따로 취하지 않는다면, 기업들은 이미 여러분의 데이터로 수익을 창출하고 있을지도 모릅니다.
대기업이 하고 있다면, 여러분도 할 수 있지 않을까요? 웹 스크래핑 방법을 익히면 최저가 상품을 찾거나, 비즈니스 리드를 수집하고, 심지어 새로운 일자리를 찾는 데에도 도움을 받을 수 있습니다.
1. 웹 스크래핑 전문 서비스 이용하기
인터넷에서 데이터를 수집하는 가장 빠르고 간편한 방법은 전문 웹 스크래핑 서비스를 이용하는 것입니다. 대량의 데이터를 수집해야 한다면 Scrapinghub 같은 서비스가 적합합니다. 대규모 운영이 가능하면서도 사용하기 쉬운 온라인 데이터 수집 서비스를 제공합니다.
소규모 작업을 원한다면 ParseHub를 살펴볼 만합니다. 모든 사용자는 신용카드 등록 없이 무료로 200페이지까지 수집할 수 있는 플랜으로 시작할 수 있으며, 이후 단계별 요금제를 통해 확장할 수 있습니다.
2. 웹 스크래핑 앱(크롬 확장 프로그램) 활용하기
빠르고 무료이며 편리하게 웹사이트를 스크래핑하고 싶다면 Web Scraper 크롬 확장 프로그램이 훌륭한 선택입니다.
약간의 학습 곡선은 있지만, 개발자가 훌륭한 공식 문서와 튜토리얼 영상을 제공하고 있어 진입 장벽이 낮습니다. Web Scraper는 소규모 데이터 수집에 가장 간단하고 유용한 도구 중 하나로, 무료 요금제만으로도 대부분의 유료 도구보다 많은 기능을 제공합니다.
3. 마이크로소프트 엑셀로 웹 스크래핑하기
좀 더 익숙한 도구를 선호한다면 마이크로소프트 엑셀의 기본 웹 스크래핑 기능을 활용해 보세요. 새 엑셀 워크북을 연 다음 데이터 탭을 선택하고, 도구 모음에서 웹에서를 클릭한 뒤 마법사의 안내에 따라 데이터 수집을 시작하면 됩니다.
이후에는 수집한 데이터를 스프레드시트에 저장하는 다양한 옵션을 사용할 수 있습니다. 자세한 방법은 엑셀 웹 스크래핑 가이드를 참고하세요.
4. 파이썬 Scrapy 라이브러리 활용하기
파이썬 프로그래밍에 익숙하다면 Scrapy가 완벽한 선택입니다. Scrapy는 웹사이트를 크롤링하여 정보를 추출하는 맞춤형 "스파이더(spider)"를 구축할 수 있게 해줍니다. 수집한 정보를 프로그램에서 바로 활용하거나 파일로 내보낼 수도 있습니다.
Scrapy 공식 튜토리얼은 기본적인 웹 스크래핑부터 전문가 수준의 멀티 스파이더 예약 정보 수집까지 모든 내용을 다룹니다. Scrapy 활용법을 익히는 것은 단순히 개인적인 필요를 넘어서, Scrapy를 다룰 줄 아는 개발자에 대한 수요가 높기 때문에 새로운 커리어 기회로 이어질 수도 있습니다.
5. 파이썬 Beautiful Soup 라이브러리 활용하기
Beautiful Soup 역시 파이썬 기반 웹 스크래핑 라이브러리입니다. Scrapy와 비슷하지만 훨씬 오랜 역사를 가지고 있으며, 많은 사용자가 Scrapy보다 사용하기 쉽다고 평가합니다.
Scrapy만큼 기능이 풍부하지는 않지만, 대부분의 사용 사례에서 파이썬 프로그래머에게 기능성과 사용 편의성의 완벽한 균형을 제공합니다.
6. 웹 스크래핑 API 이용하기
직접 웹 스크래핑 코드를 작성하는 것에 익숙하더라도, 이를 로컬 환경에서 실행해야 합니다. 소규모 작업에는 문제가 없지만, 데이터 수집 규모가 커지면 소중한 대역폭을 소모해 네트워크 속도가 느려질 수 있습니다.
웹 스크래핑 API를 사용하면 작업 일부를 원격 서버로 오프로드할 수 있으며, 코드를 통해 해당 서버에 접근할 수 있습니다. 이 방식에는 Dexi처럼 완전한 기능을 갖춘 전문가용 유료 옵션부터 ScraperAPI처럼 간소화된 서비스까지 여러 선택지가 있습니다.
두 서비스 모두 유료이지만, ScraperAPI는 결제 전에 무료로 1,000회 API 호출을 제공하므로 부담 없이 먼저 체험해 볼 수 있습니다.
7. IFTTT로 웹사이트 스크래핑하기
IFTTT는 강력한 자동화 도구입니다. 데이터 수집과 웹 스크래핑을 포함해 거의 모든 작업을 자동화할 수 있습니다.
IFTTT의 가장 큰 장점 중 하나는 다양한 웹 서비스와의 연동입니다. 트위터를 활용한 기본적인 예는 다음과 같습니다.
- IFTTT에 로그인한 후 Create 선택
- 서비스 메뉴에서 Twitter 선택
- New Search From Tweet 선택
- 검색어 또는 해시태그를 입력하고 Create Trigger 클릭
- 액션 서비스로 Google Sheets 선택
- Add Row to Spreadsheet를 선택하고 단계에 따라 설정
- Create Action 클릭
몇 가지 간단한 단계만으로 특정 검색어나 해시태그가 포함된 트윗과 작성자, 게시 시간을 자동으로 기록하는 서비스가 완성됩니다.
이렇게 다양한 온라인 서비스를 연결할 수 있기 때문에, IFTTT 또는 유사한 대체 서비스는 간단한 웹 데이터 수집에 가장 적합한 도구입니다.
8. iOS 단축어(Shortcuts) 앱으로 웹 스크래핑하기
iOS 사용자라면 단축어(Shortcuts) 앱은 디지털 생활을 연결하고 자동화하는 훌륭한 도구입니다. 캘린더, 연락처, 지도 간의 연동은 익숙하겠지만, 그 기능은 이보다 훨씬 강력합니다.
레딧(Reddit) 사용자 u/keveridge는 상세한 포스트에서 단축어 앱과 정규 표현식을 활용해 웹사이트에서 세부 정보를 추출하는 방법을 소개했습니다.
정규 표현식을 사용하면 훨씬 정교한 검색이 가능하며, 여러 파일에 걸쳐 작동해 필요한 정보만 정확히 추출해 낼 수 있습니다.
9. 안드로이드 Tasker로 웹 검색 자동화하기
안드로이드 사용자에게는 간단한 웹 스크래핑 옵션이 많지 않습니다. 앞서 설명한 방법대로 IFTTT 앱을 사용할 수도 있지만, Tasker가 더 적합할 수 있습니다.
플레이 스토어에서 3.5달러에 구매할 수 있는 Tasker는 IFTTT의 '형'격으로 불릴 만큼 방대한 자동화 옵션을 제공합니다. 여기에는 맞춤형 웹 검색, 지정한 웹사이트의 데이터 변경 시 알림, 트위터 콘텐츠 다운로드 기능 등이 포함됩니다.
전통적인 웹 스크래핑 방식은 아니지만, 자동화 앱은 코딩을 배우거나 유료 데이터 수집 서비스에 가입하지 않고도 전문 웹 스크래핑 도구와 유사한 기능의 상당 부분을 제공할 수 있습니다.
마치며: 자동화된 웹 스크래핑
비즈니스에 필요한 정보를 수집하든 일상을 더 편리하게 만들고자 하든, 웹 스크래핑은 배워 둘 가치가 충분한 기술입니다.
수집한 데이터를 체계적으로 정리하면, 여러분 자신과 지인, 그리고 비즈니스 고객이 관심을 가지는 주제에 대해 훨씬 깊이 있는 통찰을 얻을 수 있습니다.