Wget (Polski)

GNU Wget to darmowy pakiet oprogramowania do pobierania plików za pomocą HTTP, HTTPS, FTP i FTPS (FTPS od wersji 1.18). Jest to nieinteraktywne narzędzie wiersza poleceń, więc można je łatwo wywołać ze skryptów.

Instalacja

Zainstaluj pakiet wget. Wersja git występuje w AUR pod nazwą wget-git^AUR.

Istnieje alternatywa dla wget: mwget^AUR, która jest wielowątkową aplikacją do pobierania, która może znacznie zwiększyć prędkość pobierania.

Konfiguracja

Konfiguracja odbywa się w /etc/wgetrc. Nie tylko domyślny plik konfiguracyjny jest dobrze udokumentowany, jego zmiana jest rzadko konieczna. Zobacz stronę podręcznika, aby uzyskać więcej skomplikowanych opcji.

Automatyzacja FTP

Zwykle SSH służy do bezpiecznego przesyłania plików w sieci. Jednak FTP jest lżejszy pod względem zasobów w porównaniu do scp i rsync przez SSH. FTP nie jest bezpieczny, ale podczas przesyłania dużych ilości danych w środowisku chronionym zaporą ogniową w systemach powiązanych z procesorem, korzystanie z FTP może okazać się korzystne.

wget ftp://root:[email protected]//ifs/home/test/big/"*.tar"

3,562,035,200 74.4M/s   in 47s

W takim przypadku Wget przesłał plik o wielkości 3,3 GiB z szybkością 74,4 MB/sekundę

W skrócie ta procedura to:

skryptowalny
szybciej niż ssh
łatwo używane przez języki, które mogą zastępować zmienne łańcuchowe
globbing capable

Proxy

Wget używa standardowych zmiennych środowiskowych proxy. Zobacz Proxy settings.

Aby skorzystać z funkcji uwierzytelniania proxy:

$ wget --proxy-user "DOMAIN\USER" --proxy-password "PASSWORD" URL

Serwery proxy, które używają formularzy uwierzytelniania HTML nie są uwzględnione.

integracja z pacmanem

Aby pacman automatycznie używał Wget i proxy z uwierzytelnianiem, umieść polecenie Wget w /etc/pacman.conf, w sekcji [options]

XferCommand = /usr/bin/wget --proxy-user "domain\user" --proxy-password="password" --passive-ftp -q --show-progress -c -O %o %u

Warning: Pamiętaj, że przechowywanie haseł w postaci zwykłego tekstu nie jest bezpieczne. Upewnij się, że tylko root może odczytać ten plik za pomocą chmod 600 /etc/pacman.conf.

Używanie

Ta sekcja wyjaśnia niektóre scenariusze przypadków użycia dla Wget.

Podstawowe zastosowanie

Jednym z najbardziej podstawowych i najczęstszych przypadków użycia Wgeta jest pobranie pliku z Internetu.

$ wget <url>

Kiedy znasz już adres URL pliku do pobrania, może to być znacznie szybsze niż zwykłe pobieranie go w przeglądarce i ręczne przenoszenie do odpowiedniego katalogu. Nie trzeba dodawać, że po najprostszym użyciu prawdopodobnie można zobaczyć kilka sposobów wykorzystania tego do automatycznego pobierania, jeśli tego chcesz.

Zarchiwizuj całą witrynę

Wget może archiwizować całą witrynę internetową, zachowując prawidłowe miejsca docelowe linków, zmieniając linki bezwzględne na linki względne.

$ wget -r -np -k 'target-url-here'

W przypadku strony dynamicznej dostępne są dodatkowe opcje konwersji na statyczny HTML.

$ wget -r -np -p -E -k -K 'target-url-here'

wget udostępnia również opcje obchodzenia mechanizmów zapobiegających pobieraniu.

$ wget -r -np -k --random-wait -e robots=off --user-agent "Mozilla/5.0" 'target-url-here'

A jeśli zawartość stron trzecich ma zostać dołączona do pobierania, przełącznik -H może być użyty razem z -r, aby przekierować do połączonych hostów.