私たちは皆、インターネットからコンテンツをダウンロードするのが大好きで、ダウンロードのスケジュールに使用できる優れたダウンロードマネージャーツールが山ほどあります。ダウンロードマネージャーを使用する方が簡単かもしれませんが、Ubuntuに既に付属しているツールを調べて、それを最大限に活用しても害はありません。
この記事では、Ubuntuに組み込まれているソフトウェアを紹介します。このソフトウェアを使用して、インターネットからコンテンツをダウンロードできます。 wget 。さらに、Cronを使用してダウンロードをスケジュールする方法を示します。
Wgetを使用してダウンロード
Wgetは、最も広く使用されているインターネットプロトコルであるHTTP、HTTPS、およびFTPを使用してファイルを取得するための無料のソフトウェアパッケージです。これは非対話型のコマンドラインツールであるため、スクリプト、cronジョブ、X-Windowsをサポートしていない端末などから簡単に呼び出すことができます。
ターミナルを開いて、wgetを使用してネットからコンテンツをダウンロードする方法を見てみましょう。 wgetでダウンロードする基本的な構文は次のとおりです。
wget[option]…[URL]…
このコマンドは、wgetマニュアルをローカルドライブにダウンロードします
wget http://www.gnu.org/software/wget/manual/wget.pdf
ΛηνύχΚρών
Ubuntuには、特定の時間に実行されるタスクをスケジュールするために使用されるcronデーモンが付属しています。 Crontabを使用すると、アクションとそれらを実行する時間を指定できます。これは、通常、コマンドラインツールを使用してタスクをスケジュールする方法です。
ターミナルウィンドウを開き、crontab-eと入力します。
crontabの各セクションはスペースで区切られ、最後のセクションには1つ以上のスペースがあります。 cronエントリは、分（0-59）、時間（0-23、0 =真夜中）、日（1-31）、月（1-12）、平日（0-6、0 =日曜日）、コマンドで構成されます。上記のcrontabの3番目のエントリは、午前2時にwget.pdfをダウンロードします。最初のエントリ（0）と2番目のエントリ（2）は2:00を意味します。 3番目から5番目のエントリ（*）は、任意の時刻、月、または週を意味します。最後のエントリは、指定されたURLからwget.pdfをダウンロードするwgetコマンドです。
これがwgetの基本であり、Cronのしくみです。ダウンロードのスケジュール方法について、実際の例を見てみましょう。
ダウンロードのスケジューリング
Firefox 3.6を午前2時にダウンロードします。ISPが提供するデータの量は限られているため、午前8時にダウンロードを停止する必要があります。これはセットアップがどのように見えるかです。
上記のcrontabの最初の2つのエントリは無視してください。 3番目と4番目のコマンドは、必要な2つのコマンドだけです。 3番目のコマンドは、午前2時にFirefoxをダウンロードするタスクを設定します。
９０００００４
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
９０００００５
-cオプションは、wgetが完了していない場合に既存のダウンロードを再開する必要があることを示します。
4番目のコマンドは午前8時にwgetを停止します。 「Killall」は、名前でプロセスを強制終了するUNIXコマンドです。
９０００００６
0 8 * * * killall wget
９０００００７
killall wgetは、午前8時にwgetによるファイルのダウンロードを停止するようにUbuntuに指示します。
その他の便利なwgetコマンド
1.ファイルをダウンロードするディレクトリを指定する
９０００００８
wget –output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
９０００００９
オプション–output-documentを使用すると、ダウンロードするファイルのディレクトリと名前を指定できます
2.ウェブサイトのダウンロード
wgetはウェブサイトをダウンロードすることもできます。
９００００１０
wget -m http://www.google.com/profiles/zainul.franciscus
９００００１１
上記のコマンドは、私のグーグルプロファイルのウェブページ全体をダウンロードします。オプション「-m」は、指定されたURLの「ミラー」イメージをダウンロードするようにwgetに指示します。
もう1つの重要なオプションは、Webサイトをダウンロードするときにwgetがたどるリンクの数を指示することです。
９００００１２
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
９００００１３
上記のwgetコマンドは2つのオプションを使用します。最初のオプション「-r」は、指定されたWebサイトを再帰的にダウンロードするようにwgetに指示します。 2番目のオプション「-l1」は、指定されたWebサイトから最初のレベルのリンクのみを取得するようにwgetに指示します。最大3つのレベル「-l2」と「-l3」を設定できます。
3.ロボットの侵入を無視する
Webマスターは、Robot.txtというテキストファイルを管理しています。 「robot.txt」は、wgetなどのウェブページクローラーがクロールしてはならないURLのリストを維持します。 「-erobots = off」オプションを使用して「Robot.txt」を無視するようにwgetに指示できます。次のコマンドは、wgetにGoogleプロファイルの最初のページをダウンロードし、「Robot.txt」を無視するように指示します。
９００００１４
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
９００００１５
もう1つの便利なオプションは-Uです。このオプションは、wgetをブラウザとしてマスクします。アプリケーションを他のアプリケーションとしてマスクすると、Webサービスプロバイダーの条件とサービスに違反する可能性があることに注意してください。
９００００１６
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
９００００１７
結論
Wgetは非常に古い学校ですが、ファイルのダウンロードに使用できるハッキング可能なGNUソフトウェアパッケージです。 Wgetはインタラクティブなコマンドラインツールです。つまり、アプリケーションを起動しなくても、コンピューター上でバックグラウンドで実行できます。 wgetのmanページをチェックしてください
９００００１８
$ man wget
９００００１９
wgetで使用できる他のオプションを理解するため。
リンク
Wgetマニュアル
wgetが途中で失敗したときに2つのダウンロードしたファイルを組み合わせる方法
Linux QuickTip：ワンステップでのダウンロードとタール解除
