สร้างโปรแกรมกำหนดการดาวน์โหลดด้วยทักษะการเขียนโปรแกรมเพียงเล็กน้อย

เนื้อหาที่ไม่ถูกแคช

เราทุกคนชอบที่จะดาวน์โหลดสิ่งต่างๆจากอินเทอร์เน็ตและมีเครื่องมือจัดการการดาวน์โหลดที่ยอดเยี่ยมมากมายที่เราสามารถใช้เพื่อกำหนดเวลาการดาวน์โหลดของเรา การใช้ตัวจัดการการดาวน์โหลดอาจง่ายกว่า แต่ไม่มีอันตรายใด ๆ ในการสำรวจเครื่องมือที่มาพร้อมกับ Ubuntu ของเราและใช้ประโยชน์จากมันอย่างเต็มที่

ในบทความนี้เราจะแสดงซอฟต์แวร์ในตัวใน Ubuntu ที่เราสามารถใช้เพื่อดาวน์โหลดสิ่งต่างๆจากอินเทอร์เน็ตโดยใช้ wget . ยิ่งไปกว่านั้นเราจะแสดงวิธีกำหนดเวลาการดาวน์โหลดโดยใช้ Cron

ดาวน์โหลดโดยใช้ Wget

Wget เป็นชุดซอฟต์แวร์ฟรีสำหรับดึงไฟล์โดยใช้ HTTP, HTTPS และ FTP ซึ่งเป็นอินเทอร์เน็ตโปรโตคอลที่ใช้กันอย่างแพร่หลาย เป็นเครื่องมือบรรทัดคำสั่งที่ไม่โต้ตอบดังนั้นจึงสามารถเรียกใช้งานได้ง่ายจากสคริปต์งาน cron เทอร์มินัลที่ไม่รองรับ X-Windows เป็นต้น

เปิดเทอร์มินัลของคุณแล้วมาดูกันว่าเราจะใช้ wget เพื่อดาวน์โหลดข้อมูลจากเน็ต ไวยากรณ์พื้นฐานของการดาวน์โหลดด้วย wget มีดังต่อไปนี้:

wget [option] … [URL] …

คำสั่งนี้จะดาวน์โหลดคู่มือ wget ลงในไดรฟ์ในเครื่องของคุณ

wget http://www.gnu.org/software/wget/manual/wget.pdf

ΛηνύχΚρών

Ubuntu มาพร้อมกับ cron daemon ที่ใช้สำหรับกำหนดเวลางานที่จะดำเนินการในช่วงเวลาหนึ่ง Crontab ช่วยให้คุณระบุการดำเนินการและเวลาที่ควรดำเนินการ นี่คือวิธีที่คุณกำหนดเวลางานโดยใช้เครื่องมือบรรทัดคำสั่ง

เปิดหน้าต่างเทอร์มินัลแล้วป้อน crontab -e

แต่ละส่วนใน crontab ถูกคั่นด้วยช่องว่างโดยส่วนสุดท้ายจะมีช่องว่างอย่างน้อยหนึ่งช่อง รายการ cron ประกอบด้วยนาที (0-59) ชั่วโมง (0-23, 0 = เที่ยงคืน) วัน (1-31) เดือน (1-12) วันธรรมดา (0-6, 0 = วันอาทิตย์) คำสั่ง รายการที่สามใน crontab ด้านบนดาวน์โหลด wget.pdf เวลา 02:00 น. รายการแรก (0) และรายการที่สอง (2) หมายถึง 2:00 น. รายการที่สามถึงห้า (*) หมายถึงช่วงเวลาใดก็ได้ของวันเดือนหรือสัปดาห์ รายการสุดท้ายคือคำสั่ง wget เพื่อดาวน์โหลด wget.pdf จาก URL ที่ระบุ

นั่นคือพื้นฐานของ wget และวิธีการทำงานของ Cron มาดูตัวอย่างชีวิตจริงเกี่ยวกับวิธีกำหนดเวลาดาวน์โหลด

ตั้งเวลาดาวน์โหลด

เราจะดาวน์โหลด Firefox 3.6 เวลา 2.00 น. เนื่องจาก ISP ของเราให้ข้อมูลในจำนวน จำกัด เท่านั้นเราจึงต้องหยุดการดาวน์โหลดเวลา 8.00 น. นี่คือลักษณะของการตั้งค่า

ละเว้น 2 รายการแรกใน crontab ด้านบน คำสั่งที่สามและสี่เป็นเพียง 2 คำสั่งที่คุณต้องการ คำสั่งที่สามตั้งค่างานที่จะดาวน์โหลด Firefox เวลา 2.00 น.:

[code]
0 2 * * * wget -c http://download.mozilla.org/?product=firefox-3.6.6&os=win&lang=en-GB
[/code]

ตัวเลือก -c แสดงว่า wget ควรดำเนินการดาวน์โหลดที่มีอยู่ต่อไปหากยังไม่เสร็จสมบูรณ์

คำสั่งที่สี่จะหยุดเวลา 8.00 น. ‘Killall’ คือคำสั่ง unix ที่ฆ่ากระบวนการตามชื่อ

[code]
0 8 * * * killall wget
[/code]

killall wget บอกให้ Ubuntu หยุดไม่ให้ดาวน์โหลดไฟล์เวลา 8.00 น.

คำสั่ง wget ที่มีประโยชน์อื่น ๆ

1. การระบุไดเร็กทอรีเพื่อดาวน์โหลดไฟล์

[code]
wget –output-document = / home / zainul / Downloads / wget manual.pdf http://www.gnu.org/software/wget/manual/wget.pdf
[/code]

อ็อพชัน -output-document ช่วยให้คุณระบุไดเร็กทอรีและชื่อของไฟล์ที่คุณดาวน์โหลด

2. การดาวน์โหลดเว็บไซต์

wget ยังสามารถดาวน์โหลดเว็บไซต์

[code]
wget -m http://www.google.com/profiles/zainul.franciscus
[/code]

คำสั่งดังกล่าวจะดาวน์โหลดหน้าเว็บโปรไฟล์ Google ทั้งหมดของฉัน ตัวเลือก "-m" จะบอกให้ wget ดาวน์โหลดภาพ "mirror" ของ URL ที่ระบุ

อีกทางเลือกหนึ่งที่สำคัญคือการแจ้งให้ wget ทราบว่าควรติดตามกี่ลิงก์เมื่อดาวน์โหลดเว็บไซต์

[code]
wget -r -l1 http://www.google.com/profiles/zainul.franciscus
[/code]

คำสั่ง wget ข้างต้นใช้สองตัวเลือก ตัวเลือกแรก "-r" จะบอกให้ wget ดาวน์โหลดเว็บไซต์ที่ระบุซ้ำ ตัวเลือกที่สอง "-l1" จะบอกให้ wget รับลิงก์ระดับแรกจากเว็บไซต์ที่ระบุเท่านั้น เราสามารถตั้งค่าได้ถึงสามระดับ "-l2" และ "-l3"

3. ละเว้นการเข้าสู่หุ่นยนต์

เว็บมาสเตอร์ดูแลไฟล์ข้อความที่เรียกว่า Robot.txt "Robot.txt" เก็บรักษารายการ URL ที่โปรแกรมรวบรวมข้อมูลหน้าเว็บเช่น wget ไม่ควรรวบรวมข้อมูล เราสามารถบอก wget ให้ละเว้น "Robot.txt" ด้วยตัวเลือก "-erobots = off" คำสั่งต่อไปนี้บอกให้ wget ดาวน์โหลดหน้าแรกของโปรไฟล์ Google ของฉันและละเว้น "Robot.txt

[code]
wget -erobots = off http://www.google.com/profiles/zainul.franciscus
[/code]

อีกทางเลือกหนึ่งที่มีประโยชน์คือ -U ตัวเลือกนี้จะมาสก์ wget เป็นเบราว์เซอร์ โปรดทราบว่าการปิดบังแอปพลิเคชันเป็นแอปพลิเคชันอื่นอาจละเมิดข้อกำหนดและบริการของผู้ให้บริการเว็บ

[code]
wget -erobots = off -U Mozilla http://www.google.com/profiles/zainul.franciscus
[/code]

สรุป

Wget เป็นชุดซอฟต์แวร์ GNU ของโรงเรียนที่เก่าแก่มาก แต่สามารถแฮ็กได้ซึ่งเราสามารถใช้เพื่อดาวน์โหลดไฟล์ Wget เป็นเครื่องมือบรรทัดคำสั่งแบบโต้ตอบซึ่งหมายความว่าเราสามารถปล่อยให้มันทำงานบนคอมพิวเตอร์ของเราในพื้นหลังโดยไม่ต้องเริ่มแอปพลิเคชันใด ๆ ตรวจสอบหน้า wget man

[code]
$ man wget
[/code]

เพื่อทำความเข้าใจตัวเลือกอื่น ๆ ที่เราสามารถใช้กับ wget

ลิงค์

คู่มือ Wget
วิธีการรวมสองไฟล์ที่ดาวน์โหลดเมื่อไม่ผ่านครึ่งทาง
Linux QuickTip: การดาวน์โหลดและ Un-tarring ในขั้นตอนเดียว