Jak extrahovat odkazy z jakékoli webové stránky pomocí prostředí PowerShell

Nov 3, 2024
Cloud a internet

PowerShell 3 má spoustu nových funkcí, včetně některých nových výkonných funkcí souvisejících s webem. Dramaticky zjednodušují automatizaci webu a dnes vám ukážeme, jak můžete extrahovat každý jednotlivý odkaz z webové stránky a případně stáhnout zdroj, pokud si přejete.

Škrábání webu pomocí prostředí PowerShell

Existují dvě nové rutiny, které usnadňují automatizaci webu, Invoke-WebRequest, která usnadňuje analýzu lidského čitelného obsahu, a Invoke-RestMethod, která usnadňuje čtení strojově čitelného obsahu. Vzhledem k tomu, že odkazy jsou součástí HTML stránky, jsou součástí obsahu čitelného pro člověka. Chcete-li získat webovou stránku, stačí použít Invoke-WebRequest a dát mu URL.

Invoke-WebRequest –Uri „http://howtogeek.com“

Pokud přejdete dolů, uvidíte, že odpověď má vlastnost links, můžeme k jejich filtrování použít novou funkci výčtu členů PowerShell 3.

(Invoke-WebRequest –Uri „http://howtogeek.com“). Odkazy

Jak vidíte, získáte spoustu odkazů zpět, a právě zde musíte pomocí své fantazie najít něco jedinečného k odfiltrování odkazů, které hledáte. Předpokládejme, že chceme seznam všech článků na titulní stránce.

(((Vyvolat-WebRequest –Uri ' http://howtogeek.com “). Odkazy | Where-Object {$_.href -like “http*”} | Kde třída -eq „název“). Název

Další skvělou věcí, kterou můžete s novými rutinami udělat, je automatizovat každodenní stahování. Podívejme se na automatické škrábání obrazu dne mimo web Nat Geo, abychom to provedli, zkombinujeme nové webové rutiny se Start-BitsTransfer.

$ IOTD = ((Invoke-WebRequest -Uri ' http://photography.nationalgeographic.com/photography/photo-of-the-day/’).Links | Kde je podobný „HTML“ „* Stáhnout tapetu *“). Href
Start-BitsTransfer - Zdroj $ IOTD - Cíl C: \ IOTD \

To je vše. Máte nějaké vlastní pěkné triky? Dejte nám vědět v komentářích.

.vstupní obsah .vstup do zápatí

Using PowerShell To Work With SharePoint Lists

How To Check Open/Close Ports Of Any Website Using PowerShell

Intro To PowerShell For SharePoint

How To Scrape A Web Page With PowerShell

How To Manage IIS Websites In PowerShell


Cloud a internet - Nejoblíbenější články

Jak používat textové zkratky v dokumentech Google

Cloud a internet Dec 3, 2024

NEBEZPEČNÝ OBSAH Funkce Automatické nahrazování v Dokumentech Google představuje jednoduchý způsob vytváření textových zkratek pro slova nebo věty, které v dokumente..


Jak vyškrábat seznam témat z subredditu pomocí Bash

Cloud a internet Mar 26, 2025

Fatmawati Achmad Zaenuri / Shutterstock.com Reddit nabízí kanály JSON pro každou subreddit. Zde je návod, jak vytvořit skript Bash, který ..


Jaký je rozdíl mezi Poznámkovým blokem a WordPadem v systému Windows?

Cloud a internet Jun 20, 2025

Pokud jste byli vyškoleni v aplikaci Microsoft Word od doby, kdy jste začali používat počítač, možná jste se nikdy nedívali na ostatní možnosti psaní v systému Windows..


26 Skutečně užitečné věci, které můžete se Siri dělat

Cloud a internet Jul 10, 2025

Siri je nejlépe známý jako takzvaný digitální osobní asistent společnosti Apple, který je k dispozici na zařízeních iOS, jako je iPhone a iPad. Někteří by si mohli my..


Jak nikdy neztratit soubory uložené v Dropboxu a dalších službách pro synchronizaci souborů

Cloud a internet Jun 13, 2025

NEBEZPEČNÝ OBSAH Dropbox, Google Drive, OneDrive, iCloud Drive a další služby pro synchronizaci souborů jsou pohodlné, ale také synchronizují mazání a změny. Často m�..


Jak zajistit, aby Google Chrome používal méně výdrže baterie, paměti a CPU

Cloud a internet May 4, 2025

Chrome není minimální webový prohlížeč, jaký kdysi byl. Původně se jmenoval Chrome, protože byl navržen tak, aby vám stál v cestě. Chrome již není jen minimálním ..


Jak zjistit, která karta vydává v prohlížeči Google Chrome šum a ztlumit ji

Cloud a internet Mar 4, 2025

Když máte otevřenou spoustu karet, je extrémně nepříjemné náhle slyšet kartu na pozadí, která hraje hlasitý zvuk nebo hudbu, a pak musíte zavřít pravou kartu. Zde je..


Snadná integrace dokumentů Google do aplikace Outlook

Cloud a internet Jan 10, 2025

Chcete společně používat Dokumenty Google a Microsoft Office? Pomocí Harmony pro Dokumenty Google je můžete bez problémů integrovat do Outlooku. Harmony for Google Docs je v..


Kategorie