Как использовать wget, лучший инструмент для загрузки из командной строки

Новое не всегда лучше, и wget команда является доказательством. Впервые выпущенное в 1996 году, это приложение до сих пор остается одним из лучших менеджеров загрузок на планете. Если вы хотите загрузить один файл, целую папку или даже зеркальное отображение всего веб-сайта, wget позволяет сделать это всего несколькими нажатиями клавиш.

Конечно, есть причина, по которой не все используют wget: это приложение командной строки, и поэтому новичкам требуется немного времени для изучения. Вот основы, чтобы вы могли начать.

Как установить wget

Прежде чем вы сможете использовать wget, вам необходимо его установить. Как это сделать, зависит от вашего компьютера:

• Большинство (если не все) дистрибутивы Linux по умолчанию поставляются с wget. Таким образом, пользователям Linux не нужно ничего делать!
• Системы macOS не поставляются с wget, но вы можете установить инструменты командной строки с помощью Homebrew . После настройки Homebrew просто запустите варить установить wget в Терминале.
• Однако пользователям Windows нелегко получить доступ к wget из традиционной командной строки. Cygwin предоставляет wget и другие утилиты GNU , а также Оболочка Bash в Ubuntu в Windows 10 также поставляется с wget.

После того, как вы установили wget, вы можете сразу начать использовать его из командной строки. Давай скачаем файлы!

Скачать один файл

Начнем с простого. Скопируйте URL-адрес файла, который хотите загрузить, в свой браузер.

Теперь вернитесь в Терминал и введите wget за которым следует вставленный URL. Файл будет загружен, и вы увидите прогресс в реальном времени.

СВЯЗАННЫЕ С: Как управлять файлами из терминала Linux: 11 команд, которые вам нужно знать

Обратите внимание, что файл будет загружен в текущую папку вашего Терминала, поэтому вы захотите CD в другую папку, если вы хотите сохранить его в другом месте. Если вы не знаете, что это значит, посмотрите наше руководство по управлению файлами из командной строки . В статье упоминается Linux, но концепции одинаковы в системах MacOS и Windows, работающих под управлением Bash.

Продолжить незавершенную загрузку

Если по какой-либо причине вы остановили загрузку до ее завершения, не волнуйтесь: wget может продолжить работу с того места, где она была остановлена. Просто используйте эту команду:

wget -c файл

Ключ здесь -c , который на языке командной строки является «опцией». Эта конкретная опция сообщает wget, что вы хотите продолжить существующую загрузку.

Зеркальное отражение всего веб-сайта

Если вы хотите скачать весь сайт , wget может выполнить эту работу.

wget -m http://example.com

По умолчанию все будет загружено на сайт example.com, но вы, вероятно, захотите использовать еще несколько вариантов для использования зеркала.

• --convert-links изменяет ссылки внутри каждой загруженной страницы так, чтобы они указывали друг на друга, а не на Интернет.
• --page-реквизиты загружает такие вещи, как таблицы стилей, поэтому страницы будут правильно выглядеть в автономном режиме.
• - нет родителей останавливает загрузку родительских сайтов wget. Итак, если вы хотите скачать хттп://эксампле.ком/собесампле , у вас не будет родительской страницы.

Комбинируйте эти варианты по своему вкусу, и вы получите копию любого веб-сайта, который вы сможете просматривать на своем компьютере.

Обратите внимание, что зеркалирование всего веб-сайта в современном Интернете займет много места, поэтому ограничьте это небольшими сайтами, если у вас нет почти неограниченного хранилища.

Скачать весь каталог

Если вы просматриваете FTP-сервер и находите целую папку, которую хотите загрузить, просто запустите:

wget -r ftp://example.com/folder

В р в этом случае wget сообщает, что вам нужна рекурсивная загрузка. Вы также можете включить - родитель если вы хотите избежать загрузки папок и файлов выше текущего уровня.

Загрузить список файлов сразу

Если вы не можете найти всю папку с нужными загрузками, wget все равно может помочь. Просто поместите все URL-адреса загрузки в один файл TXT.

затем укажите wget на этот документ с помощью -и вариант. Нравится:

wget -i download.txt

Сделайте это, и ваш компьютер загрузит все файлы, перечисленные в текстовом документе, что очень удобно, если вы хотите оставить несколько загрузок на ночь.

Еще несколько приемов

Мы могли бы продолжить: wget предлагает множество вариантов. Но это руководство предназначено только для того, чтобы дать вам отправную точку. Чтобы узнать больше о возможностях wget, введите человек wget в терминале и прочтите, что появится. Вы многому научитесь.

Сказав это, вот несколько других вариантов, которые я считаю изящными:

• Если вы хотите, чтобы загрузка выполнялась в фоновом режиме, просто включите параметр -b .
• Если вы хотите, чтобы wget продолжал попытки загрузки даже в случае ошибки 404, используйте опцию -t 10 . То будет пытаться скачать 10 раз; вы можете использовать любой номер, который вам нравится.
• Если вы хотите управлять своей пропускной способностью, опция --limit-rate = 200 тыс. ограничит вашу скорость загрузки 200 КБ / с. Измените номер, чтобы изменить скорость.

Здесь есть чему поучиться. Вы можете заглянуть в загрузка исходного кода PHP , или настройка автоматического загрузчика , если вы хотите стать более продвинутым.