웹페이지에서 내용을 일일이 복사해 붙여넣고 수작업으로 스프레드시트에 옮기고 있다면, 데이터 스크래핑(웹 스크래핑)이 무엇인지 모르거나, 개념은 알지만 몇 시간의 클릭 노동을 줄이기 위해 굳이 코딩을 배우고 싶지 않은 것일 겁니다.
어느 쪽이든 걱정할 필요 없습니다. 코딩 없이 사용할 수 있는 데이터 스크래핑 도구가 많으며, 그중에서도 Data Miner의 크롬 확장 프로그램은 가장 직관적인 선택지 중 하나입니다. 운이 좋다면 찾으려는 작업이 이미 레시피북에 등록되어 있어, 직접 만들 때 필요한 클릭 과정조차 거치지 않아도 됩니다.
Data Miner는 어떻게 작동하나요?
Data Miner는 불러온 페이지의 텍스트를 분석해 웹페이지의 데이터를 깔끔하게 정리된 Excel/CSV 파일로 변환해 주는 도구입니다. 따라서 HTML 패턴을 어느 정도 인식할 수 있는 수준만 되면 되며, 깊은 전문 지식은 필요하지 않습니다. 고급 HTML이나 JavaScript 기술이 있으면 일부 작업에 도움이 되긴 하지만, 대부분의 경우 필수적이지 않습니다. 또한 출력 결과가 깔끔하고 체계적으로 정리되었는지 확인할 수 있도록 최소한의 스프레드시트 활용 능력도 갖춰두는 것이 좋습니다.
1. Data Miner 설치하기
Chrome 또는 다른 Chromium 기반 브라우저에서 확장 프로그램을 설치합니다. 툴바에 곡괭이 아이콘이 나타나며, 클릭하면 계정을 설정할 수 있는 페이지로 이동합니다. 무료 버전은 한 달에 500회 스크래핑을 제공하므로 매일 하는 업무가 아니라면 충분히 사용할 수 있는 분량입니다.
2. 데이터 불러오기
먼저 데이터를 추출하려는 페이지로 이동합니다. 데이터가 여러 페이지에 걸쳐 있거나 버튼 뒤에 숨겨져 있어도 괜찮습니다. 이를 처리하는 방법은 뒤에서 소개합니다. 우선은 프로그램이 무엇을 찾아야 할지 학습할 수 있도록 대표 샘플만 있으면 됩니다.
3. 기존 레시피 확인하기
다음으로 Data Miner를 열고 'Public' 탭에서 기존 레시피가 있는지 확인합니다. 인기 사이트라면 누군가 이미 원하는 데이터를 가져오는 프로세스를 만들어 두었을 수 있어 시간을 크게 절약할 수 있습니다. 예를 들어 Google, Amazon, Twitter 같은 사이트에는 링크, 가격, 텍스트 등 다양한 데이터를 즉시 다운로드할 수 있는 레시피가 많이 공유되어 있습니다. 'Run' 버튼을 클릭하면 Data Miner가 생성하는 스프레드시트 미리보기를 통해 레시피를 바로 테스트할 수 있고, 'Edit' 버튼을 눌러 기존 레시피를 자신에게 맞게 수정할 수도 있습니다.
4. 페이지 유형 선택하기
미리 만들어진 레시피가 딱 맞지 않았나요? 괜찮습니다. 직접 만들면 됩니다. 'New Recipe' 버튼을 클릭해 시작하세요.
첫 번째 선택지는 'List Page' 또는 'Detail Page'입니다.
List Page: 한 페이지에서 여러 행의 데이터를 추출할 때 선택합니다. 예를 들어 검색 결과 전체의 링크와 페이지 제목을 다운로드하거나, 피드에 게시된 글들의 날짜와 내용을 가져오는 경우입니다. 가장 일반적인 유형이며, 이번 가이드에서도 이 유형으로 데모를 진행합니다(상세 페이지의 단계도 기본적으로 동일합니다).
Detail Page: 한 페이지에 특정 항목 하나에 대한 다양한 정보가 담겨 있을 때 선택합니다. 예를 들어 제품 상세 페이지에서 가격, 설명, 링크, 평점을 모두 가져와 한 행에 담는 경우입니다.
5. 행(Row) 만들기
'Find' 버튼을 누른 뒤 마우스를 움직여, 노란색 선택 상자가 최종 스프레드시트의 한 항목에 필요한 모든 데이터를 덮도록 합니다. 예를 들어 검색 결과를 다운로드한다면 제목, URL, 설명을 모두 포함할 만큼 넓은 영역을 선택해야 하며, 각 요소는 다음 단계에서 별도의 열로 나눌 수 있습니다. 선택을 확정하려면 Shift 키를 누릅니다. 실수로 클릭해도 걱정하지 마세요. Data Miner는 페이지를 벗어나더라도 레시피 진행 상황을 모두 저장해 줍니다.
그런 다음 'Element's Classes' 또는 'HTML Element Type' 섹션에서 최소 하나의 체크박스를 선택해야 합니다. 제대로 작동한다면 선택한 요소와 같은 카테고리에 속한 페이지의 모든 요소로 선택 영역이 자동으로 복제되는 것을 볼 수 있습니다.
선택자가 필요한 모든 요소를 덮지 못한다면, 요소 중 하나만 선택한 뒤 'Select Parent'를 눌러보세요. 선택 상자가 커지면서 필요한 영역을 모두 잡아낼 가능성이 높습니다. 그래도 안 된다면 HTML을 조금 들여다보며 필요한 요소의 클래스와 유형을 직접 식별해야 할 수 있습니다. 판단이 서지 않을 때는, 상자가 목록 항목 두 개 이상을 덮지 않는 선에서 최대한 커질 때까지 'Select Parent'를 반복하는 것이 좋습니다. 그래야 이후 열을 선택할 때 더 많은 유연성을 확보할 수 있습니다.
Data Miner는 하단에 'View Element's HTML' 옵션을 제공하며, 사용자 지정 선택자를 직접 입력할 수도 있습니다. 예를 들어 'product' 클래스를 가진 페이지의 모든 링크를 가져오고 싶다면 a.product라고 입력하면 됩니다. 이 단계에서 기본적인 HTML/CSS 지식이 실제로 큰 힘을 발휘합니다.
메인 행 메뉴로 돌아오면, 레시피가 스프레드시트에 생성할 항목 수를 보여주는 'Row Count'가 표시됩니다. 모든 항목이 잡히지 않았다면 행 선택을 다시 점검해야 합니다.
6. 데이터를 열(Column)로 나누기
행에 필요한 모든 데이터를 선택했다면, 이제 이를 여러 열 카테고리로 세분화해 보기 좋게 정리할 차례입니다. 여기서 선택하는 모든 항목은 반드시 행을 위해 선택한 상자의 하위 영역이어야 합니다.
열을 만드는 방법은 간단합니다. 열 이름을 입력하고 Find 버튼으로 추출할 부분을 선택하면 됩니다. 행을 만들 때와 동일한 방식입니다. 가장 흔히 추출하는 데이터는 텍스트, URL, 이미지 URL입니다. 다만 텍스트 링크 위에 마우스를 올려 URL을 가져오는 작업은 약간 까다로울 수 있습니다. Element Type이 <a>(링크용 HTML 태그)인 수준에 도달할 때까지 'Select Parent'를 반복해서 눌러야 할 수 있습니다.
열에 올바른 종류의 데이터가 들어 있는지 확인하려면, 각 열 이름 오른쪽에 있는 선택된 열 수를 나타내는 숫자 옆의 눈 아이콘을 누르세요. 해당 열의 모든 행 항목이 미리보기로 표시됩니다. 뭔가 이상하다면 돌아가서 행을 식별하기 위해 선택했던 태그와 유형을 조정하세요. HTML 뷰어를 열어 가져오려는 데이터와 연관된 패턴을 직접 확인하는 것도 주저하지 마세요.
7. 다음 페이지로 이동하는 방법 알려주기
여러 페이지에 걸친 데이터를 추출해야 한다면, 매번 수동으로 클릭하고 레시피를 반복 실행하고 싶지 않을 겁니다. 이를 해결하려면 Data Miner에게 다음 페이지로 넘어가기 위해 클릭해야 할 내비게이션 버튼의 위치를 알려주면 됩니다. 단, '2페이지'처럼 특정 페이지 번호를 클릭하도록 지정하면 안 됩니다. 그러면 말 그대로 2페이지로만 이동하고 끝납니다. 마찬가지로 <a> 요소를 선택하고 있는지 확인하고, Test Navigation 버튼으로 정상 작동 여부를 반드시 테스트하세요.
8. 데이터 로드를 위한 클릭·스크롤 동작 지정하기
일부 페이지는 무언가를 클릭하거나 아래로 스크롤해야 데이터가 로드됩니다. 다행히 Data Miner는 이런 동작도 자동으로 수행할 수 있습니다! 상단의 'Find' 도구(이쯤이면 충분히 익숙해졌을 겁니다)를 사용해 조작해야 할 요소를 선택한 후, 해당 선택자를 적절한 입력란에 넣고 테스트하여 정상 작동하는지 확인하세요.
버튼이나 무한 스크롤바를 정확히 활성화하는 선택자를 찾는 일은 까다로울 수 있지만, 기본적인 HTML 지식과 약간의 시행착오만으로도 상당 부분 해결할 수 있습니다. 여기서 다루는 대부분의 요소는 JavaScript 기반이지만, Data Miner는 동작을 트리거하는 CSS 선택자만 알면 되므로 대부분의 경우 코드를 직접 건드릴 필요가 없습니다.
참고로 다음 단계에서는 원하는 거의 모든 작업을 수행할 수 있는 사용자 지정 JavaScript를 추가할 수도 있지만, 이는 상당히 고급 기능이라 기본적인 스크래핑에서는 굳이 필요하지 않습니다.
9. 레시피 저장하고 실행하기
축하합니다! 이제 모든 설정이 잘 맞물리는지 확인할 차례입니다. 현재 페이지에서 레시피를 실행하고 미리보기를 통해 행과 열이 의도한 대로 작동하는지 확인하세요. 문제가 있다면 언제든 돌아가서 레시피를 수정할 수 있습니다.
모든 것이 정상적으로 작동한다면 'Next Page' 버튼을 사용해 스크래퍼가 몇 페이지를 크롤링할지, 어떤 속도로 진행할지 지정할 수 있습니다. 너무 빠른 속도로 요청하면 시스템이 봇으로 판단해 차단할 수 있으니 주의하세요.
필요한 모든 데이터를 확보했다면, 마지막으로 다운로드할 파일 형식만 선택하면 됩니다.
잘 안 되나요? 더 쉬운 방법이 있을까요?
Data Miner가 잘 맞지 않는다면 ParseHub, Scraper, Octoparse, Import.io, VisualScraper 등 선택할 수 있는 데이터 스크래핑 도구가 많습니다. 일부 도구는 더 직관적인 인터페이스와 강력한 자동화 기능을 제공하지만, 어느 도구를 사용하든 HTML과 웹 페이지의 구조에 대한 최소한의 이해는 여전히 필요합니다.
Data Miner가 초보자에게 특히 좋은 점은 크라우드소싱 방식의 레시피 라이브러리입니다. 덕분에 코드와 거의 접촉하지 않고도 작업을 끝낼 수 있습니다. 여기에 비교적 넉넉한 월 500회 무료 스크래핑까지 더해져, 대부분의 사용자 요구를 충족할 만한 훌륭한 도구라 할 수 있습니다.