웹 브라우저 없이 웹사이트를 다운로드할 수 있는 방법이 있는지 궁금하신가요? 당신은 운이 좋다. Linux 명령줄의 힘으로 모든 것이 가능합니다. 이 작업을 완료하는 방법에는 여러 가지가 있지만 이 기사에서는 wget에 초점을 맞추고 있습니다.
wget이란 무엇입니까?
wget은 웹 서버에서 콘텐츠를 검색하기 위한 GNU 명령줄 유틸리티입니다. 다운로더로서 wget은 그 자체로 매우 강력합니다. wget은 HTTP, HTTPS 및 FTP와 같은 여러 프로토콜과 함께 작동할 수 있습니다. wget 유틸리티의 다른 기능은 다음과 같습니다.
- 자동 실행 또는 백그라운드 실행
- Linux 스크립트 또는 CRON 작업과 통합
- 한 번에 여러 다운로드를 실행할 수 있음
- 암호가 필요한 파일 다운로드
왜 wget인가?
웹 사이트 활동을 수행할 수 있는 도구가 많이 있지만 wget은 광범위한 범위를 허용합니다. 다음과 같은 방법으로 사용자에게 웹 브라우저 없이 작동할 수 있는 기능을 제공합니다.
- 웹사이트의 전체 사본 다운로드
- 웹사이트에서 특정 파일 다운로드
- 요청 시 파일 검색 자동화
- 인증 포털에서 문서 가져오기
wget은 또한 대부분의 Linux 배포판에 내장되어 있으므로 처음부터 바로 사용할 수 있으며 추가 설치가 필요하지 않습니다.
wget 기본 사항
wget을 시작하는 것은 매우 간단합니다. 먼저 Linux 터미널을 엽니다.
터미널 창이 열리면 아래와 같이 wget을 실행할 수 있습니다.
wget URL
"URL"을 웹사이트의 정확한 URL로 바꾸십시오.
부분적으로 다운로드한 파일을 재개하려면 -c를 사용하십시오. 다음과 같이 명령을 전환하십시오.
wget -c URL
wget 다운로드를 자동으로 만들려면 -q를 추가하세요. 초기 wget 명령으로 전환:
wget -q URL
wget 내에서 옵션을 올바르게 사용하는지 확실하지 않은 경우 다음을 사용하십시오.
wget --help
웹 사이트 외에 wget을 사용하여 파일을 다운로드할 수도 있습니다. 예:
wget https://example.com/file.zip
파일을 가져와 현재 디렉토리에 저장하기만 하면 됩니다.
다른 파일 이름이나 다른 위치에 저장하려면 -O를 사용하세요. 플래그.
wget https://example.com/file.zip -O ~/Documents/my_downloaded_file.zip
FTP 옵션
앞서 언급했듯이 wget은 FTP도 지원합니다. FTP 사이트만 지정하는 경우:
wget ftp://ftp.example.com
wget은 익명 로그인을 원한다고 가정합니다. 또는 다음 플래그를 사용하여 사용자 이름 및 비밀번호와 같은 항목을 수동으로 지정할 수 있습니다.
--ftp-user=USER:로그인을 위한 사용자 이름 지정--ftp-password=PASS:비밀번호 지정--no-passive-ftp:수동 전송 모드 비활성화
시간 초과, 재시도 및 다운로드 실패
마지막으로 wget에는 서버 연결 문제 및 시간 초과와 관련된 몇 가지 옵션이 있습니다. 물론 모든 오류를 처리할 수 있는 것은 아니지만 다음 플래그는 모두 서버 문제를 처리하는 데 도움이 됩니다.
--tries=NUMBER:다운로드 재시도 횟수 지정--retry-connrefused:서버에서 연결을 거부해도 다운로드 재시도--timeout=SECONDS:전역 설정 – 시간 초과까지 기다리는 시간--wait=SECONDS:성공적인 다운로드 사이의 대기 시간(반복되는 경우)
누가 wget을 사용할까요?
이 게시물을 읽으면서 "이것은 웹 브라우저를 사용하는 것보다 복잡하고 훨씬 더 어렵다"고 생각할 수 있지만 시스템 관리자든 프로그래머든 누구나 이 유틸리티의 용도를 찾을 수 있습니다. 다음은 내가 하루 종일 이 명령을 사용하는 방법에 대한 두 가지 예입니다. 내 역할은 때때로 변경됩니다.
한 번에 여러 웹 사이트를 다운로드하도록 이 명령을 예약할 수 있기 때문에 보안 연구원으로서 작업을 더 쉽게 수행할 수 있습니다. 목록에 여러 URL(한 줄에 하나의 URL)이 포함된 텍스트 파일(텍스트 편집기 사용)을 만들어 이를 수행할 수 있습니다. -i로 아래 명령어를 실행하면 스위치를 사용하면 wget이 목록의 각 웹사이트를 다운로드합니다.
wget -i download_file_name URL
시스템 관리자는 암호로 보호된 위치에서 문서를 쉽게 얻을 수 있습니다. 이것은 오프라인에서도 도움이 되지 않을 수 있지만 wget 허용을 실행하면 사이트에 자격 증명을 추가할 수 있습니다.
wget --user=user_id --password=user_password URL
당신은 그것을 가지고 있습니다! 생각보다 어려웠나요? wget으로 작업을 자동화할 수 있으면 시간을 절약하고 오프라인에서도 작업할 수 있습니다. 무엇을 잃어야 합니까?
아래에 의견을 남기고 이것이 유용했는지 알려주십시오.