Rekursiver Download mit Hindernis

12/05/2014 - 21:10 von Kai Fischer | Report spam
Guten Abend,

ich möchte von einem Server aus allen Unterverzeichnissen unterhalb
eines bestimmten Verzeichnisses alle Dateien eines bestimmten Typs
herunterladen. Das Problem dabei ist, dass ich auf dieses bestimmte
Verzeichnis (in diesem Fall dir3) nicht zugreifen darf ("403
Forbidden"), weshalb ich nicht einfach ein

wget -rl 2 http://example.com/dir1/dir2/dir3/ -A "*.txt"

machen kann. Ein Zugriff auf die einzelnen Unterverzeichnisse ist
hingegen möglich. Ich möchte also

wget -r http://example.com/dir1/dir2/dir3/dir_4a/ -A "*.txt"
wget -r http://example.com/dir1/dir2/dir3/dir_4b/ -A "*.txt"
wget -r http://example.com/dir1/dir2/dir3/dir_4c/ -A "*.txt"
etc. pp.

mit einem einzigen Befehl darstellen, weiß aber nicht, wie ich
dir_4x als Variable ausdrücken soll (die Unterverzeichnisnamen
sind völlig unterschiedlich und folgen keinem Schema). Die Manpage
habe ich gelesen, aber nichts dazu gefunden. Geht das mit wget oder
mit einem anderen Tool und wenn ja, wie?

Kai
 

Lesen sie die antworten

#1 Andreas Kohlbach
13/05/2014 - 00:00 | Warnen spam
Kai Fischer wrote on 12. May 2014:

ich möchte von einem Server aus allen Unterverzeichnissen unterhalb
eines bestimmten Verzeichnisses alle Dateien eines bestimmten Typs
herunterladen. Das Problem dabei ist, dass ich auf dieses bestimmte
Verzeichnis (in diesem Fall dir3) nicht zugreifen darf ("403
Forbidden"), weshalb ich nicht einfach ein

wget -rl 2 http://example.com/dir1/dir2/dir3/ -A "*.txt"

machen kann. Ein Zugriff auf die einzelnen Unterverzeichnisse ist
hingegen möglich. Ich möchte also

wget -r http://example.com/dir1/dir2/dir3/dir_4a/ -A "*.txt"
wget -r http://example.com/dir1/dir2/dir3/dir_4b/ -A "*.txt"
wget -r http://example.com/dir1/dir2/dir3/dir_4c/ -A "*.txt"
etc. pp.

mit einem einzigen Befehl darstellen, weiß aber nicht, wie ich
dir_4x als Variable ausdrücken soll (die Unterverzeichnisnamen
sind völlig unterschiedlich und folgen keinem Schema). Die Manpage
habe ich gelesen, aber nichts dazu gefunden. Geht das mit wget oder
mit einem anderen Tool und wenn ja, wie?



wget sollte URLs auch als regulàren Ausdruck beachten. Es sollte also

wget -r "http://example.com/dir1/dir2/dir3/dir_4[a|b|c]/" -A "*.txt"

funktionieren.
Andreas

I wish my grass was emo. Then it would cut itself.

Ähnliche fragen