Wget utilīta ļauj jums lejupielādēt tīmekļa lapas, failus un attēlus no tīmekli, izmantojot Linux komandrindu.
Jūs varat izmantot atsevišķu komandu wget, lai to lejupielādētu no vietnes vai izveidotu ievades failu, lai lejupielādētu vairākus failus vairākās vietnēs.
Saskaņā ar manuālo lapu, wget var tikt izmantots pat tad, ja lietotājs ir izrakstījies no sistēmas. Lai to izdarītu, jūs izmantotu komandu nohup.
Wget utilītprogramma vēlreiz mēģinās lejupielādēt pat tad, kad savienojums pazemināsies, atsākot no vietas, kur tas, ja iespējams, ir izslēgts, kad savienojums atgriežas.
Jūs varat lejupielādēt visas tīmekļa vietnes, izmantojot wget, un pārvērst saites, lai norādītu uz vietējiem avotiem, lai jūs varētu skatīt vietni bezsaistē.
Wget iezīmes ir šādas:
- Failu lejupielāde, izmantojot HTTP, HTTPS un FTP
- Atsākt lejupielādi
- Konvertējiet absolūtās saites lejupielādētajās tīmekļa lapās uz relatīvajiem URL, lai tīmekļa vietnes varētu skatīties bezsaistē
- Atbalsta HTTP starpniekserverus un sīkfailus
- Atbalsta pastāvīgus HTTP savienojumus
- Var palaist fonā, pat ja neesat pieteicies
- Darbojas Linux un Windows
Kā lejupielādēt vietni, izmantojot wget
Šajā rokasgrāmatā es parādīšu, kā lejupielādēt manu personīgo emuāru.
wget www.everydaylinuxuser.com
Ir vērts izveidot savu mapi savā datorā, izmantojot komandu mkdir, un pēc tam pārvietojas mapē, izmantojot cd komandu .
Piemēram:
mkdir everydaylinuxuser
cd everydaylinuxuser
wget www.everydaylinuxuser.com
Rezultāts ir viens index.html fails. Atsevišķi šis fails ir diezgan bezjēdzīgs, jo saturs joprojām ir izvilkts no Google, un attēli un stilu lapas joprojām tiek uzglabāti Google tīklā.
Lai lejupielādētu pilnu vietni un visas lapas, varat izmantot šādu komandu:
wget-r www.everydaylinuxuser.com
Tas lejupielādē lapas rekursīvi, maksimāli 5 līmeņus dziļi.
5 līmeņu dziļi var būt nepietiekami, lai iegūtu visu no vietnes. Jūs varat izmantot -l slēdzi, lai iestatītu līmeņu skaitu, kuram vēlaties doties šādi:
wget -r -l10 www.everydaylinuxuser.com
Ja vēlaties bezgalīgu rekursiju, varat izmantot sekojošo:
wget -r -l inf www.everydaylinuxuser.com
Jūs varat arī nomainīt inf ar 0, kas nozīmē to pašu.
Vēl ir vēl viena problēma. Jūs varat saņemt visas lapas uz vietas, bet visas lapās esošās saites joprojām norāda uz to sākotnējo vietu. Tādēļ nav iespējams uz vietām noklikšķināt starp lappušu saitēm.
Jūs varat apiet šo problēmu, izmantojot -k slēdzi, kas pārvērš visas saites uz lapām, lai norādītu uz vietēji lejupielādēto ekvivalentu šādi:
wget -r -k www.everydaylinuxuser.com
Ja vēlaties iegūt pilnīgu tīmekļa vietnes spoguļu, varat vienkārši izmantot šādu slēdzi, kas atņem nepieciešamību izmantot -r -k un -l slēdžus.
wget-m www.everydaylinuxuser.com
Tāpēc, ja jums ir sava vietne, varat izveidot pilnīgu dublējumu, izmantojot šo vienkāršo komandu.
Palaidiet wget kā fona komandu
Jūs varat iegūt wget palaist kā fona komandu, ļaujot jums turpināt darbu ar terminālu, kamēr faili tiek lejupielādēti.
Vienkārši izmantojiet šādu komandu:
wget -b www.everydaylinuxuser.com
Jūs, protams, varat apvienot slēdžus. Lai palaistu wget komandu fonā, vienlaikus atspoguļojot vietni, izmantotu šādu komandu:
wget-b-m www.everydaylinuxuser.com
Jūs varat to vēl vienkāršot šādi:
wget-bm www.everydaylinuxuser.com
Mežizstrāde
Ja jūs izmantojat komandu wget fonā, jūs neredzat nevienu parasto ziņojumu, kuru tā nosūta ekrānam.
Jūs varat saņemt visus šos ziņojumus, kas tiek nosūtīti uz žurnāla failu, lai jūs jebkurā brīdī varētu pārbaudīt, vai ir sasniegts progress, izmantojot komandu tail .
Lai izvadītu informāciju no komandas wget uz žurnāla failu, izmantojiet šādu komandu:
wget -o / path / to / mylogfile www.everydaylinuxuser.com
Protams, pretējā virzienā ir jāprasa, lai netiktu reģistrēts neviens ieraksts, un ekrānam nav izvades. Lai izlaistu visu izvadi, izmantojiet šādu komandu:
wget-q www.everydaylinuxuser.com
Lejupielādēt no vairākām vietnēm
Jūs varat iestatīt ievades failu, lai lejupielādētu no daudzām dažādām vietnēm.
Atveriet failu, izmantojot savu iecienīto redaktoru vai pat kaķu komandu, un vienkārši sāciet uzskaitīt vietnes vai saites, lai lejupielādētu no katras faila rindiņas.
Saglabājiet failu un palaidiet šādu wget komandu:
wget -i / path / to / inputfile
Neatkarīgi no dublējuma savā mājas lapā vai varbūt atrast kaut ko lejupielādēt, lai lasītu vilcienu, maz ticams, ka jūs vēlaties lejupielādēt visu vietni.
Jūs visticamāk lejupielādēsit vienu URL ar attēliem vai, iespējams, lejupielādēsiet failus, piemēram, zip failus, ISO failus vai attēlu failus.
Paturot to prātā, jūs nevēlaties ievadīt ievades failā šādu informāciju, jo tas ir laikietilpīgs:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Ja jūs zināt, ka bāzes URL vienmēr ir vienāds, ievades failā varat norādīt tikai sekojošo:
- file1.zip
- file2.zip
- file3.zip
Tad jūs varat norādīt bāzes URL kā daļu no komandas wget šādi:
wget -B http://www.myfileserver.com -i / path / to / inputfile
Atkārtot opcijas
Ja ievades failā ir iestatīta failu rinda, kuru lejupielādējat, un jūs visu laiku atstājat datoru, lai lejupielādētu failus, jums būs diezgan satraukti, kad atnāksiet no rīta, lai konstatētu, ka tas ir iestrēdzis pirmajā failā un ir atkal mēģinājis visu nakti.
Jūs varat norādīt atkārtojumu skaitu, izmantojot šādu slēdzi:
wget -t 10 -i / path / to / inputfile
Iespējams, vēlēsities izmantot iepriekš minēto komandu kopā ar -T slēdzi, kas ļauj norādīt taimautu sekundēs sekojoši:
wget -t 10 -T 10 -i / path / to / inputfile
Iepriekš minētā komanda atkārtojas 10 reizes un mēģinās pieslēgt 10 sekundes katrai faila saiknei.
Tas ir arī diezgan kaitinošs, ja daļēji lejupielādējat 75% no 4 gigabaitu faila lēnajā platjoslas savienojumā tikai tad, ja jūsu savienojums ir pamests.
Jūs varat izmantot wget, lai mēģinātu vēlreiz, no kurienes tā pārtrauca lejupielādi, izmantojot šādu komandu:
wget-c www.myfileserver.com/file1.zip
Ja jūs uzbrūkat serverim, uzņēmējai tas, iespējams, nepatīk pārāk daudz un varētu bloķēt vai vienkārši nogalināt jūsu pieprasījumus.
Varat norādīt gaidīšanas periodu, kurā norādīts, cik ilgi jāgaida no katras izguves:
wget -w 60 -i / path / to / inputfile
Iepriekšminētā komanda paliek 60 sekundes starp katru lejupielādi. Tas ir noderīgi, ja lejupielādējat daudz failus no viena avota.
Daži tīmekļa mitinātāji var pamanīt frekvenci, taču jebkurā gadījumā jūs bloķēsiet. Jūs varat padarīt gaidīšanas periodu izlases veidā, lai izskatās, ka neizmantojat programmu šādi:
wget - random-wait-i / path / to / inputfile
Lejupielāžu ierobežojumu aizsardzība
Daudzi interneta pakalpojumu sniedzēji joprojām izmanto lejupielādes ierobežojumus jūsu platjoslas lietojumam, īpaši, ja jūs dzīvojat ārpus pilsētas.
Iespējams, vēlēsities pievienot kvotu, lai jūs nepārspētu šo lejupielādes ierobežojumu. To var izdarīt šādi:
wget -q 100m -i / path / to / inputfile
Ņemiet vērā, ka -q komanda nedarbosies ar vienu failu.
Tātad, ja lejupielādējat 2 gigabaitu lielu failu, izmantojot -q 1000m netiks pārtraukta failu lejupielāde.
Kvota tiek piemērota tikai tad, ja rekursīvi lejupielādē no vietnes vai izmanto ievades failu.
Getting Through Security
Dažās vietnēs ir nepieciešams pieteikties, lai varētu piekļūt saturam, kuru vēlaties lejupielādēt.
Jūs varat izmantot šādus slēdžus, lai norādītu lietotājvārdu un paroli.
wget --user = tavsais lietotājvārds - parole = jūsu parole
Piezīme par vairāku lietotāju sistēmu, ja kāds palaiž ps komandu, viņi varēs redzēt savu lietotājvārdu un paroli.
Citas lejupielādes opcijas
Pēc noklusējuma-r slēdzis rekursīvi lejupielādēs saturu un izveidos direktorijus, kā tas notiek.
Visus lejupielādētos failus varat iegūt vienā mapē, izmantojot šādu slēdzi:
wget -nd -r
Pretēji tam ir piespiest izveidot direktorijus, kurus var sasniegt, izmantojot šādu komandu:
wget-x-r
Kā lejupielādēt dažus failu tipus
Ja vēlaties lejupielādēt rekursīvu vietni, bet vēlaties lejupielādēt tikai noteiktu faila tipu, piemēram, mp3 vai attēlu, piemēram, png, varat izmantot šādu sintaksi:
wget -A "* .mp3" -r
Pretējā gadījumā tas ir ignorēt dažus failus. Varbūt jūs nevēlaties lejupielādēt izpildāmos failus. Šajā gadījumā jūs izmantojat šādu sintaksi:
wget -R "* .exe" -r
Pīlādži
Pastāv Firefox pievienojumprogramma ar nosaukumu cliget. Jūs to varat pievienot Firefox šādā veidā.
Apmeklējiet vietni https://addons.mozilla.org/en-US/firefox/addon/cliget/ un noklikšķiniet uz pogas "Pievienot pārlūkprogrammai Firefox".
Kad tas parādās, noklikšķiniet uz pogas Instalēt. Jums būs nepieciešams restartēt Firefox.
Lai izmantotu cliget, apmeklējiet lapu vai failu, kuru vēlaties lejuplādēt, un ar peles labo pogu noklikšķiniet. Tiks parādīta kontekstizvēlne, kas tiek saukta par cliget, un būs iespējas "kopēt uz wget" un "kopēt uz čokurošanās".
Noklikšķiniet uz opcijas "nokopēt uz wget" un atveriet termināla logu, pēc tam labo pogu noklikšķiniet un ielīmējiet. Atbilstoša wget komanda tiks ielīmēta logā.
Būtībā tas ietaupa, ka jums ir jāievada komanda pati.
Kopsavilkums
Wget komanda ir liels skaits iespēju un slēdžu.
Tādēļ ir vērts lasīt rokasgrāmatas lapu par wget, ierakstot šādu informāciju termināla logā:
man wget