URLs "spidern" mit wget

01/09/2010 - 14:55 von Maxim Webster | Report spam
Hallo,

um eine Liste für ein externes Programm zu erstellen, stehe ich vor
folgenden Herausforderung:

Ausgehend von einer Startseite sollen alle URLs in eine Datei
geschrieben werde, welche von der Startseite oder mit ihr verbundenen
Seiten referenziert werden.

Mit anderen Worten, ich möchte eine Mirror einer Website anlegen, aber
eben nicht der Inhalte, sondern nur der Struktur.

Geht das mit wget-Boardmitteln?

Gruß,

Christoph
 

Lesen sie die antworten

#1 Ralf Döblitz
02/09/2010 - 22:17 | Warnen spam
Maxim Webster schrieb:
Hallo,

um eine Liste für ein externes Programm zu erstellen, stehe ich vor
folgenden Herausforderung:

Ausgehend von einer Startseite sollen alle URLs in eine Datei
geschrieben werde, welche von der Startseite oder mit ihr verbundenen
Seiten referenziert werden.

Mit anderen Worten, ich möchte eine Mirror einer Website anlegen, aber
eben nicht der Inhalte, sondern nur der Struktur.

Geht das mit wget-Boardmitteln?



AFAICS nicht wirklich. Ich würde da eher zu linkchecker im verbose-Modus
greifen.

Ralf
Ralf Döblitz * Schapenstraße 6 * 38104 Braunschweig * Germany
Phone: +49-531-2361223 Fax: +49-531-2361224 mailto:
Homepage: http://www.escape.de/users/selene/
Mit UTF-8 kann man gleichzeitig àöüßÄÖÜæœłø‱¼½¾¤¹²³¢€£¥¶§¬÷×±©®™¡¿ verwenden…

Ähnliche fragen