Όλοι μας λατρεύουμε να κατεβάζουμε υλικό από το Διαδίκτυο και υπάρχουν σωροί εξαιρετικών εργαλείων διαχείρισης λήψεων που μπορούμε να χρησιμοποιήσουμε για να προγραμματίσουμε τις λήψεις μας. Ίσως είναι πιο εύκολο να χρησιμοποιήσετε έναν διαχειριστή λήψεων, αλλά δεν υπάρχει βλάβη στην εξερεύνηση των εργαλείων που ήδη συνοδεύουν το Ubuntu και την πλήρη χρήση του.
Σε αυτό το άρθρο θα σας δείξουμε ένα ενσωματωμένο λογισμικό στο Ubuntu το οποίο μπορούμε να χρησιμοποιήσουμε για να κατεβάσετε πράγματα από το Διαδίκτυο χρησιμοποιώντας κλαίω . Επιπλέον, θα σας δείξουμε πώς να προγραμματίσετε τη λήψη χρησιμοποιώντας το Cron.
Λήψη με χρήση του Wget
Το Wget είναι ένα πακέτο δωρεάν λογισμικού για την ανάκτηση αρχείων χρησιμοποιώντας HTTP, HTTPS και FTP, τα πιο ευρέως χρησιμοποιούμενα πρωτόκολλα Διαδικτύου. Είναι ένα μη διαδραστικό εργαλείο γραμμής εντολών, οπότε μπορεί εύκολα να κληθεί από σενάρια, εργασίες cron, τερματικά χωρίς υποστήριξη X-Windows κ.λπ.
Ανοίξτε το τερματικό σας και ας εξερευνήσουμε πώς μπορούμε να χρησιμοποιήσουμε το wget για να κατεβάσετε πράγματα από το διαδίκτυο. Η βασική σύνταξη της λήψης με το wget είναι η ακόλουθη:
wget [option]… [URL]…
Αυτή η εντολή θα κατεβάσει το εγχειρίδιο wget στην τοπική σας μονάδα δίσκου
wget http://www.gnu.org/software/wget/manual/wget.pdf
Ληνύχ Κρών
Το Ubuntu έρχεται με έναν δαίμονα cron που χρησιμοποιείται για τον προγραμματισμό εργασιών που θα εκτελεστούν σε μια συγκεκριμένη στιγμή. Το Crontab σάς επιτρέπει να καθορίσετε ενέργειες και ώρες που πρέπει να εκτελεστούν. Με αυτόν τον τρόπο κανονικά θα προγραμματίσετε μια εργασία χρησιμοποιώντας το εργαλείο γραμμής εντολών.
Ανοίξτε ένα παράθυρο τερματικού και πληκτρολογήστε crontab -e.
Κάθε ένα από τα τμήματα σε ένα crontab χωρίζεται από ένα κενό διάστημα, με το τελικό τμήμα να έχει ένα ή περισσότερα κενά σε αυτό. Μια καταχώριση cron αποτελείται από λεπτά (0-59), ώρα (0-23, 0 = μεσάνυχτα), ημέρα (1-31), μήνα (1-12), καθημερινή (0-6, 0 = Κυριακή), εντολή. Η τρίτη καταχώριση στο παραπάνω crontab κατεβάζει το wget.pdf στις 2 π.μ. Η πρώτη καταχώριση (0) και η δεύτερη καταχώρηση (2) σημαίνει 2:00. Η τρίτη έως την πέμπτη καταχώριση (*) σημαίνει οποιαδήποτε ώρα της ημέρας, του μήνα ή της εβδομάδας. Η τελευταία καταχώρηση είναι η εντολή wget για λήψη του wget.pdf από την καθορισμένη διεύθυνση URL.
Αυτή είναι η βασική στο wget και πώς λειτουργεί το Cron. Ας πάρουμε ένα λάθος σε ένα πραγματικό παράδειγμα για το πώς να προγραμματίσετε μια λήψη.
Προγραμματισμός λήψης
Πρόκειται να πραγματοποιήσουμε λήψη του Firefox 3.6 στις 2 π.μ. Δεδομένου ότι ο πάροχος υπηρεσιών μας παρέχει μόνο περιορισμένο αριθμό δεδομένων, πρέπει να σταματήσουμε τη λήψη στις 8 π.μ. Έτσι φαίνεται η εγκατάσταση.
Αγνοήστε τις πρώτες 2 καταχωρήσεις στο παραπάνω crontab. Η τρίτη και η τέταρτη εντολή είναι οι μόνες 2 εντολές που χρειάζεστε. Η τρίτη εντολή ρυθμίζει μια εργασία που θα κατεβάσει τον Firefox στις 2 π.μ .:
[code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/code]
Οι επιλογές -c υποδηλώνουν ότι το wget θα πρέπει να συνεχίσει την υπάρχουσα λήψη εάν δεν έχει ολοκληρωθεί.
Η τέταρτη εντολή θα σταματήσει το wget στις 8 π.μ. Το "Killall" είναι μια εντολή unix που σκοτώνει τις διαδικασίες με το όνομα.
[code]
0 8 * * * killall wget
[/code]
Το killall wget λέει στο Ubuntu να σταματήσει τη λήψη του αρχείου στις 8 π.μ.
Άλλες χρήσιμες εντολές wget
1. Καθορισμός του καταλόγου για λήψη ενός αρχείου
[code]
wget –output-document = / home / zainul / Λήψεις / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/code]
η επιλογή –output-document σάς επιτρέπει να καθορίσετε τον κατάλογο και το όνομα του αρχείου που κατεβάζετε
2. Λήψη ιστότοπου
Το wget είναι επίσης ικανό να κατεβάσει έναν ιστότοπο.
[code]
wget -m http://www.google.com/profiles/zainul.franciscus
[/code]
Η παραπάνω εντολή θα κατεβάσει ολόκληρη την ιστοσελίδα του προφίλ μου στο google. Η επιλογή «-m» λέει στο wget να κατεβάσει μια εικόνα «καθρέφτη» του καθορισμένου URL.
Μια άλλη σημαντική επιλογή είναι να πείτε στο wget πόσους συνδέσμους πρέπει να ακολουθεί κατά τη λήψη ενός ιστότοπου.
[code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/code]
Η παραπάνω εντολή wget χρησιμοποιεί δύο επιλογές. Η πρώτη επιλογή «-r» λέει στο wget να κάνει λήψη του συγκεκριμένου ιστότοπου αναδρομικά. Η δεύτερη επιλογή «-l1» λέει στο wget να λαμβάνει μόνο το πρώτο επίπεδο συνδέσμων από τον συγκεκριμένο ιστότοπο. Μπορούμε να ρυθμίσουμε έως και τρία επίπεδα «-l2» και «-l3».
3. Αγνοώντας την είσοδο ρομπότ
Ο κύριος Ιστού διατηρεί ένα αρχείο κειμένου που ονομάζεται Robot.txt. Το "Robot.txt" διατηρεί μια λίστα διευθύνσεων URL που δεν πρέπει να ανιχνεύσει ένα πρόγραμμα ανίχνευσης ιστοσελίδων, όπως το wget. Μπορούμε να πούμε στο wget να αγνοήσει το "Robot.txt" με την επιλογή "-erobots = off". Η ακόλουθη εντολή λέει στο wget να κατεβάσει την πρώτη σελίδα του προφίλ μου στο Google και να αγνοήσει το «Robot.txt.
[code]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[/code]
Μια άλλη χρήσιμη επιλογή είναι -U. Αυτή η επιλογή θα καλύψει το wget ως πρόγραμμα περιήγησης. Λάβετε υπόψη ότι η απόκρυψη μιας εφαρμογής ως άλλης εφαρμογής ενδέχεται να παραβιάζει τον όρο και την υπηρεσία ενός παρόχου υπηρεσιών διαδικτύου.
[code]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/code]
συμπέρασμα
Το Wget είναι ένα παλιό πακέτο λογισμικού GNU με δυνατότητα hackable που μπορούμε να χρησιμοποιήσουμε για τη λήψη αρχείων. Το Wget είναι ένα διαδραστικό εργαλείο γραμμής εντολών που σημαίνει ότι μπορούμε να το αφήσουμε να τρέχει στον υπολογιστή μας στο παρασκήνιο χωρίς να χρειάζεται να ξεκινήσει καμία εφαρμογή. Ρίξτε μια ματιά στη σελίδα wget man
[code]
$ man wget
[/code]
για να κατανοήσουμε άλλες επιλογές που μπορούμε να χρησιμοποιήσουμε με το wget.
Συνδέσεις
Εγχειρίδιο Wget
Πώς να συνδυάσετε δύο αρχεία που κατεβάσατε όταν το wget αποτυγχάνει στη μέση
Γρήγορη συμβουλή Linux: Λήψη και κατάργηση αναμονής σε ένα βήμα
