Как полностью скачать сайт?

Иногда возникают ситуации, когда нужно полностью выкачать сайт либо для последующего изучения или для каких-либо иных целей. Для решения таких задач существует масса инструментария Teleport Pro, например. Но перепробовав массу программ с GUI (с графическим интерфейсом), нет ничего лучше, чем консольная утилита wget. Утилита действительно универсальная, так как работает по большому количеству протоколов и портирована на массу операционных систем.

Wget — свободная неинтерактивная консольная программа для загрузки файлов по сети. Поддерживает протоколы HTTP, FTP и HTTPS, а также поддерживает работу через HTTP прокси-сервер. Программа включена почти во все дистрибутивы GNU/Linux.

Wget является не интерактивной программой. Это означает, что после её запуска пользователь может повлиять на её работу только с помощью средств управления процессами самой операционной системы. Как правило для этого используются сочетания клавиш Ctrl+C при необходимости прерывания работы программы и Ctrl+Z для помещения текущего задания в фон. Современные web-браузеры как правило имеют функцию закачки файлов, однако так как браузер рассчитан на интерактивный режим работы, то скачивание большого количества файлов вручную может быть утомительным. Браузеры, как правило, не предоставляют средств для автоматизации подобных задач. Wget же, например, поддерживает загрузку URL, указанных в файле. Таким образом можно составить список файлов, а в любое удобное время скачать их с помощью wget. Интерфейс командной строки позволяет управлять wget из других программ и скриптов, что используется при автоматизации загрузки файлов (регулярные обновления, мониторинг доступности сервера и т. д.).

Wget позволяет загружать любые файлы во всемирной паутине (в том числе и (X)HTML-страницы) по протоколам http и https, а также файлы и списки директорий по протоколу ftp.

Запускать ее лучше из исполняемого bat файла. Когда то в сети нашел вот такое вот решение

@echo off
set /p URL=Enter URL (with no http://):
if "%URL%"=="" goto error
wget.exe -r -l0 -k -np -p -nv -nH -E -t 4 -N -c http://%URL% -P Sites%URL%
goto end
:error
echo No site specified!
:end
pause

Батник нужно положить в папку с wget, при запуске ввести имя сайта и радоваться полностью выкаченному сайту.

 

Пролистать наверх