Ми всі любимо завантажувати речі з Інтернету, і є маса чудових інструментів менеджера завантажень, які ми можемо використовувати для планування завантажень. Можливо, просто простіше використовувати менеджер завантажень, але не шкодить вивченню інструментів, які вже поставляються з нашим Ubuntu, і повному використанню його.
У цій статті ми покажемо вам вбудоване програмне забезпечення в Ubuntu, яке ми можемо використовувати для завантаження матеріалів з Інтернету за допомогою wget . Крім того, ми покажемо вам, як запланувати завантаження за допомогою Cron.
Завантажте за допомогою Wget
Wget - це безкоштовний програмний пакет для отримання файлів за допомогою HTTP, HTTPS та FTP, найбільш широко використовуваних протоколів Інтернету. Це неінтерактивний інструмент командного рядка, тому його легко викликати зі сценаріїв, завдань cron, терміналів без підтримки X-Windows тощо.
Відкрийте свій термінал і давайте дослідимо, як ми можемо використовувати wget для завантаження матеріалів із мережі. Основний синтаксис завантаження за допомогою wget такий:
wget [option]… [URL]…
Ця команда завантажить керівництво wget на ваш локальний диск
wget http://www.gnu.org/software/wget/manual/wget.pdf
Ληνύχ Κρών
Ubuntu поставляється з демоном cron, який використовується для планування завдань, що виконуються в певний час. Crontab дозволяє вказати дії та час їх виконання. Ось як зазвичай ви планували завдання за допомогою інструмента командного рядка.
Відкрийте вікно терміналу та введіть crontab -e.
Кожен із розділів у crontab відокремлений пробілом, в останньому розділі є один або кілька пробілів. Запис cron складається з хвилин (0-59), години (0-23, 0 = опівночі), дня (1-31), місяця (1-12), дня тижня (0-6, 0 = неділі), команди. Третій запис у вищезазначеному crontab завантажує wget.pdf о 02:00. Перший запис (0) і другий запис (2) означає 2:00. Третій-п’ятий запис (*) означає будь-який час доби, місяць або тиждень. Останній запис - це команда wget для завантаження wget.pdf із вказаної URL-адреси.
Це основне у wget та як працює Cron. Давайте розберемо бабло на прикладі реального життя про те, як запланувати завантаження.
Планування завантаження
Ми збираємось завантажити Firefox 3.6 о 02:00. Оскільки наш провайдер надає лише обмежений обсяг даних, нам потрібно зупинити завантаження о 8:00. Ось так виглядає установка.
Ігноруйте перші 2 записи у наведеному вище crontab. Третя і четверта команди - це єдині 2 команди, які вам потрібні. Третя команда налаштовує завдання, яке завантажить Firefox о 02:00:
[code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/code]
Параметри -c означають, що wget повинен відновити існуюче завантаження, якщо воно не було завершено.
Четверта команда зупинить wget о 8 ранку. «Killall» - це команда unix, яка вбиває процеси за назвою.
[code]
0 8 * * * killall wget
[/code]
Віджет killall повідомляє Ubuntu припинити завантаження файлу wget о 8 ранку.
Інші корисні команди wget
1. Вказівка каталогу для завантаження файлу
[code]
wget –output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/code]
параметр –output-document дозволяє вказати каталог та ім'я завантажуваного файлу
2. Завантаження веб-сайту
wget також може завантажувати веб-сайт.
[code]
wget -m http://www.google.com/profiles/zainul.franciscus
[/code]
Вищевказана команда завантажить всю мою веб-сторінку профілю Google. Параметр «-m» повідомляє wget завантажити «дзеркальне» зображення вказаної URL-адреси.
Інший важливий варіант - повідомити wget, скільки посилань має переходити при завантаженні веб-сайту.
[code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/code]
Вказана вище команда wget використовує два варіанти. Перший варіант ‘-r’ повідомляє wget завантажувати вказаний веб-сайт рекурсивно. Другий варіант ‘-l1’ говорить wget отримувати лише перший рівень посилань із зазначеного веб-сайту. Ми можемо встановити три рівні «-l2» та «-l3».
3. Ігнорування входу робота
Веб-майстер підтримує текстовий файл під назвою Robot.txt. „Robot.txt“ підтримує список URL-адрес, за якими сканер веб-сторінок, наприклад wget, не повинен сканувати. Ми можемо сказати wget ігнорувати параметр ‘Robot.txt’ із опцією ‘-erobots = off’. Наступна команда говорить wget завантажити першу сторінку мого профілю Google і проігнорувати „Robot.txt.
[code]
wget -erobots = вимкнено http://www.google.com/profiles/zainul.franciscus
[/code]
Ще одним корисним варіантом є -U. Цей параметр буде маскувати wget як браузер. Зверніть увагу, що маскування програми як іншої програми може порушити термін та послуги постачальника веб-послуг.
[code]
wget -erobots = вимкнено -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/code]
Висновок
Wget - це дуже стара школа, але хакерський пакет програм GNU, який ми можемо використовувати для завантаження файлів. Wget - це інтерактивний інструмент командного рядка, що означає, що ми можемо дозволити йому працювати на нашому комп’ютері у фоновому режимі, не запускаючи жодної програми. Ознайомтесь зі сторінкою wget man
[code]
$ man wget
[/code]
щоб зрозуміти інші варіанти, які ми можемо використовувати з wget.
Посилання
Wget Manual
Як поєднати два завантажені файли, коли wget не вдається на півдорозі
Підказка для Linux: Завантаження та зняття тарингу за один крок
