웹 스크래핑(자동 데이터 추출)은 개인과 기업 모두에게 매우 유용한 도구가 될 수 있습니다. 물론 웹 스크래핑을 수작업으로 진행할 수도 있지만, 순식간에 지루하고 번거로운 작업이 되어버리기 쉽습니다. 작업 속도를 높이려면 Octoparse에서 제공하는 것과 같은 웹 스크래핑 툴을 활용하는 것이 좋습니다. 이 회사는 최근 소프트웨어의 새 버전(8.4)을 출시했으며, 여러 가지 개선 사항이 포함되어 있습니다. 이번 글에서는 Octoparse 8.4가 어떤 변화를 가져왔는지 자세히 살펴보겠습니다.
참고: 본 기사는 Octoparse의 지원을 받아 작성된 스폰서 기사입니다. 실제 내용과 의견은 편집 독립성을 유지하는 저자 본인의 것입니다.
Octoparse 8.4 소개
Octoparse는 사용법이 간단하면서도 기능이 풍부한 웹 스크래핑 도구입니다. 사용자가 별다른 노력 없이 바로 웹 스크래핑을 시작할 수 있도록 편리한 템플릿들이 마련되어 있습니다. 코딩 지식이 전혀 필요 없기 때문에 누구나 부담 없이 이 데이터 마이닝 소프트웨어를 활용할 수 있습니다.
다만 프로그램의 모든 기능을 최대한 끌어내려면 어느 정도의 학습 곡선은 감수해야 합니다. 다행히 Octoparse는 방대한 튜토리얼 라이브러리를 제공하여 다양한 작업 수행 방법을 빠르게 익힐 수 있도록 돕습니다.
Octoparse 8.4는 공식 웹사이트에서 Windows(7, 8, 10) 및 macOS(10.10 이상) 사용자용으로 다운로드할 수 있습니다. Windows XP 또는 x32 시스템을 사용 중이라면 이전 버전인 Octoparse 7.3.0을 받아야 합니다.
Octoparse 8.4로 무엇을 할 수 있을까?
Octoparse를 사용하면 Amazon, eBay, Target, Walmart 등 주요 이커머스 사이트의 상품 데이터를 비롯해 각종 데이터를 추출할 수 있습니다. 또한 Facebook, Twitter, Instagram, YouTube 등 주요 소셜 미디어 사이트를 대상으로 게시물, 댓글, 이미지 등을 수집하는 것도 가능합니다.
Octoparse 8.4를 실행하면 이러한 사이트들을 겨냥한 다양한 템플릿을 바로 만나볼 수 있습니다. 예를 들어 Facebook 템플릿은 특정 계정 페이지의 게시물별 댓글을 수집하도록 설계되어 있습니다. 파란색 "Try it" 버튼만 누르면 즉시 사용해볼 수 있습니다.
또한 Octoparse는 Booking이나 TripAdvisor에서 호텔 가격, 평점, 리뷰를 추적하거나, Yellow Pages, Yelp, Crunchbase 같은 사이트에서 정보를 모아 맞춤형 데이터베이스를 구축하는 데에도 유용합니다.
웹 스크래핑 작업이 끝나면 결과를 Excel, HTML, TXT, CSV 형식은 물론 MySQL, SQL Server, Oracle 같은 데이터베이스로도 내보낼 수 있습니다.
고급 모드(Advanced Mode) 활용하기
템플릿 외에도 Octoparse는 어떤 웹사이트든 자유롭게 스크래핑할 수 있습니다. 작업 설정 과정도 꽤 직관적입니다. 새 버전에서는 워크플로우 위치가 왼쪽에서 오른쪽으로 옮겨진 새 레이아웃이 적용되었고, 화면 모서리에 고급 설정 영역이 배치되어 원하는 동작을 더 쉽게 정의할 수 있습니다.
전반적으로 인터페이스가 한층 여유로워져 쾌적하게 느껴집니다. 그래도 Octoparse로 작업할 때는 넉넉한 모니터를 사용하는 것이 좋습니다. 업데이트 이후에도 일반적인 노트북 화면에서는 여전히 다소 좁게 느껴질 수 있습니다.
고급 모드에서는 관련 URL을 애플리케이션에 붙여넣기만 하면 됩니다.
그러면 프로그램이 자동으로 페이지를 불러와 관련 있다고 판단되는 정보를 추출합니다. 결과는 화면 하단에 표시됩니다. 불필요한 필드는 점 세 개 아이콘을 클릭한 뒤 "Delete" 옵션을 선택하기만 하면 손쉽게 삭제할 수 있습니다.
최신 버전은 브라우저 내부의 Webview 기술을 활용해 뛰어난 멈춤 방지 성능을 자랑합니다. 실제 테스트 과정에서 거슬리는 페이지 멈춤 현상은 발견되지 않았습니다.
팁(Tips) 메뉴를 놓치지 마세요
위 절차대로 진행하면 Octoparse는 현재 페이지에서만 데이터를 추출합니다. 전체 페이지를 대상으로 데이터를 수집하려면 페이지네이션 루프를 만들어야 합니다. 첫 번째 단계는 워크플로우 생성입니다. 해당 버튼을 클릭해 시작하세요.
그러면 제안 상자에 여러 옵션이 나타납니다. "Click on a Load More button"을 선택한 후, 페이지 맨 아래까지 스크롤해 "Next page" 버튼이나 유사한 요소를 찾습니다. 해당 버튼을 클릭하고 "Confirm" 버튼을 누르면 됩니다.
Octoparse가 초기에 가져온 데이터보다 더 많은 정보가 필요하다면, 목록의 모든 항목을 선택해 원하는 데이터를 수집하는 두 번째 요소를 추가로 만들 수 있습니다.
시작하려면 목록에서 항목 하나를 클릭한 다음 Tips 메뉴에서 "Click URL" 옵션을 선택하세요.
그러면 해당 항목의 전용 페이지가 로드됩니다. 관련 필드를 클릭하면 아래에 표시되며, 필요에 따라 자유롭게 수정할 수 있습니다.
작업 실행하기
생성한 작업의 구조에 만족했다면 이제 기기에서 바로 실행하거나 예약(Local)할 차례입니다. 클라우드에서 실행하는 것도 가능하지만, 이 기능은 유료 플랜 사용자에게만 제공됩니다.
전체 데이터 수집에는 그리 오랜 시간이 걸리지 않으며, 완료되면 즉시 "Export Data" 버튼을 클릭해 원하는 출력 형식을 선택할 수 있습니다.
Octoparse는 상당히 강력한 도구로, 단순한 작업 설정 이상의 활용이 가능합니다. 예를 들어 추출한 데이터를 후처리할 수 있습니다. 도구 상자의 RegEx Tool을 사용하면 텍스트 교체 같은 데이터 정제 작업도 손쉽게 처리할 수 있습니다.
Zapier 연동의 등장
주목할 만한 점은 버전 8.4부터 Octoparse가 Zapier와 제휴했다는 사실입니다. 이 통합 덕분에 사용자는 Google Drive, Google Sheets, Slack 등 수천 개의 앱과 웹 스크래핑 서비스를 조합해 사용할 수 있습니다.
워크플로우 연동을 시작하려면 먼저 기기에서 Zapier에 접속합니다. 그런 다음 화면 오른쪽의 "Create Zap" 버튼을 클릭하세요. 여기서는 Octoparse에서 처리한 새 문서로 Google Drive 파일을 대체하는 Zap을 설정해 보았습니다.
트리거를 설정하려면 검색창으로 Octoparse를 찾아 선택합니다. Octoparse 계정과 연동한 뒤 트리거 설정을 시작하세요. ID로 검색할 수 있는 대상 Octoparse 작업을 선택하고, 원하는 작업 상태(Task status)를 지정합니다. 처음에는 작업 ID를 찾는 것이 다소 까다로울 수 있습니다. 다행히 공식 문서가 잘 갖춰져 있어 금방 해결할 수 있습니다. (팁: 작업을 클라우드에서 실행해야 합니다.)
다음으로 액션 앱을 선택해야 하는데, 이번 예시에서는 Google Docs를 사용했습니다.
이 단계에서는 여러 매개변수를 정의해야 합니다. 가장 중요한 것은 Action event이므로 적합한 옵션을 선택했는지 반드시 확인하세요. 이후 "Set up action" 필드에서 액션 관련 세부 사항을 추가로 입력하면 됩니다.
두 번째로 새 Zap을 만들 때는 과정이 꽤 매끄럽게 진행되었습니다. 조금 익숙해지는 시간이 필요할 뿐입니다. 약간의 문서 읽기가 필요할 수도 있지만, 다행히 Zapier와 Octoparse 모두 자체 튜토리얼 라이브러리를 제공하므로 많은 시간을 조사에 쏟을 필요는 없습니다.
지금 바로 Octoparse를 시작하세요
Octoparse는 무료로 사용해볼 수 있어 간단한 프로젝트를 진행하려는 분들에게 안성맞춤입니다. 계정에 가입한 후 바로 시작해 보세요. 다만 전체 기능을 이용하려면 다음 세 가지 유료 플랜 중 하나로 업그레이드해야 합니다.
- Standard 플랜: 월 $75
- Professional 플랜: 월 $209
- Enterprise 플랜: 맞춤형 기능 요청 시 제공
무료 버전에서도 다양한 작업이 가능하지만, 유료 버전은 고급 옵션을 제공합니다. 여기에는 더 많은 크롤러 사용, 예약 추출, 동시 클라우드 추출, 자동 IP 로테이션, API 접근, 이메일 지원 등이 포함됩니다.
Octoparse가 궁금하다면 먼저 무료 티어를 사용해보고 자신의 필요에 얼마나 부합하는지 직접 확인해 보세요. 최신 버전은 지금 공식 웹사이트에서 다운로드할 수 있습니다.