Forums Neueste Beiträge
 

Kleines Downloadskript

16/04/2013 - 23:40 von Richard llom | Report spam
Hallo,
will mir ein kleine Skript schreiben welches eine URL aus einer Seite (aus
dem Quelltext) ausliest und das Ziel dieser URL dann auf der Festplatte
speichert. Die Quellseiten (so ca. 8-12 jeweils) werde ich vorher von Hand
in eine Textdatei schreiben.
Was ich schon herausgefunden habe:
mit
wget -i seiten.txt -O seiten.html
bekomme ich den Quelltext aller Seiten in "seiten.html"
mit
grep "regexp" seiten.html > downloads.txt
sollten alle Download-Urls in downloads.txt stehen.

Hier habe ich aber noch ein paar Probleme.
Der relevante Quelltext sieht so aus:
...
//addVar("file","URL");
addVar("file","URL");
..
mit grep addVar\(\"file\",\".*\" seiten.html > downloads.txt
bekomme ich aber immer nur die kompletten Zeilen?
Außerdem wie muss ich die regExp veràndern um den auskommentierten Teil
(//...) auszuschließen? (übrigens der Grund warum meine bisherige Lösung
nicht mehr funktioniert)

Und welches cli-tool kann ich schließlich benutzen um die Ziele der URL
herunterzuladen? Am liebsten eins mit Geschwindigkeit- und
Fortschrittsanzeige (wie bei pacman z.Bsp.).

Danke schon mal
richard
 

Lesen sie die antworten

#1 Frank Graf
17/04/2013 - 21:02 | Warnen spam
Hallo,

Am Tue, 16 Apr 2013 23:40:48 +0200 schrieb Richard llom:

[...]

Hier habe ich aber noch ein paar Probleme.
Der relevante Quelltext sieht so aus:
...
//addVar("file","URL");
addVar("file","URL");
..
mit grep addVar\(\"file\",\".*\" seiten.html > downloads.txt bekomme ich
aber immer nur die kompletten Zeilen?



grep gibt immer ganze Zeilen aus. Mit dem Tool awk sollte das Problem
lösbar sein.

Außerdem wie muss ich die regExp veràndern um den auskommentierten Teil
(//...) auszuschließen? (übrigens der Grund warum meine bisherige Lösung
nicht mehr funktioniert)

Und welches cli-tool kann ich schließlich benutzen um die Ziele der URL
herunterzuladen? Am liebsten eins mit Geschwindigkeit- und
Fortschrittsanzeige (wie bei pacman z.Bsp.).



wget zeigt den Fortschritt an, siehe in der man page die Angaben zum
Parameter "--progress":




Frank

Ähnliche fragen