wget
1. Beispiele
Download all pdfs from a site
wget -r -l1 -nd --no-parent -A.pdf {url}
Einen Download mit wget im Hintergrund starten und gleich ausloggen
wget -b 45 -q {url}
Datei mit Links zum Download angeben
wget -i <file>
Web-Seite inkl. aller verlinkten oder eingebetteten Ressourcen wie z.B. Bilder und Downloads (-p) rekursiv (-r) aber beschränkt auf die erste Ebene (-l1) zum Offline-Lesen ohne zip- und pdf-Dateien (-Rzip,pdf) herunterladen. Es werden nur die Seiten der selben Domain (-np) heruntergeladen. Absolute Links in den HTML-Dateien werden ggf. in relative Links umgewandelt (-k), sonst würden die Seiten immer ins WWW verweisen. Die Endung von interaktiven Seiten wie PHP oder ASP werden in html umbenannt (-E).
wget -r -l1 -nd -k -np -p -E -Rzip,pdf http://www.tnotes.de/PageIndex
Die Option -l1, ist hier anzuwenden, weil der Seiten-Index (PageIndex) als Startseite angegeben wird. In dem Sonderfall sind alle Seiten gelistet in auf einer Speziellen Index-Seite gelistet, was wget zu erheblichen Zeitersparnis verhilft, da es andere Seiten nicht bis in die Tiefe durchforsten muss. Generell loht es sich einen max. Level (-l1, -l2, -l3, ...) bei der Verwendung der Rekursion (-r) aus Zeitgründen anzugeben. Würde man z.B. die Startseite als Ausgangspunkt angeben, so ist es ratsam, die Option -l1 wegzulassen oder etwas höheres anzugeben (-l3), da sonst nur die Startseite und die Seiten auf die die Startseite verlinkt heruntergeladen werden würden.
Alle Dateien eines Verzeichnisses inkl. der Unterverzeichnisse über FTP herunterladen
wget ftp://www.anyftpserver.de/folder -r --user=BENUTZERNAME --password=PASSWORT
Download einer Datei über SSL und das HTTPS-Protokoll
wget https://... --http-user=xxx --http-passwd=yyy --no-check-certificate -O outputfile
2. Parameter an der Kommandozeile
--limit-rate=20k | |
--user=user | |
--password=password | |
-nd | Do not create a hierarchy of directories when retrieving recursively. |
-c | Continue |
-nH | Disable generation of host-prefixed directories. By default, invoking Wget with -r http://fly.srk.fer.hr/ will create a structure of directories beginning with fly.srk.fer.hr/. |
-k | Convert links to relative |
-m | Turn on options suitable for mirroring. This option turns on recursion and time-stamping, sets infinite recursion depth and keeps FTP directory listings. It is currently equivalent to -r -N -l inf--no-remove-listing. |
-E | konvertiert Endung in html |
-k | konvertiert relative Links |
-p | lädt alle erforderlichen Dateien zum Visualisieren einer Seite |
-np --no-parent | Do not ever ascend to the parent directory when retrieving recursively. |
-A, --accept=LISTE | komma-unterteilte Liste der erlaubten Dateiendungen |
-R, --reject=LISTE | komma-unterteilte Liste der zurückzuweisenden Erweiterungen |
-I list --include-directories=list | Specify a comma-separated list of directories you wish to follow when downloading (@pxref{Directory-Based Limits} for more details.) Elements of list may contain wildcards. |
-X list --exclude-directories=list | Specify a comma-separated list of directories you wish to exclude from download (@pxref{Directory-Based Limits} for more details.) Elements of list may contain wildcards. |
3. Progress
wget <url> -o log --progress=dot:mega
Siehe auch