wget und Speicherbelastung

17/02/2015 - 20:20 von Ulrich Fürst | Report spam
Guten Abend zusammen!

Ich wollte gestern per wget einen Teil einer Website mir lokal auf den
Rechner laden. Es handelt sich um 7 Verzeichnisse mit je ca. 280
Dateien. Insgesamt etwa 28 MB.

$ wget -rc -nH --cut-dirs=6 --max-redirect=0 --no-host-directories $URL

Dabei wurde der Prozess nach einiger Zeit gekillt, weil der Speicher
nicht ausreichte: 3 GB RAM + 3 GB Swap
Als ich dann noch zusàtzlich weitere 6 GB Swap aktivierte (also
insgesammt 12 GB "RAM") ànderte das nichts. Auch ein àndern auf
setzt ja manchmal sàmtliche Limitierung aus)

Wie können nicht mal 30 MB Dateien 12 GB Arbeitsspeicher voll laufen
lassen?
Ich habe natürlich im Netz gesucht, aber leider _nichts_ dazu gefunden.

Vielen Dank schon mal für Denkanstöße
Ulrich



Zufallssignatur:
Was ist ein Grenzwert?
Ein Grenzwert ist "dazwischen".
Alle Werte darunter sind unbedenklich und alle darüber
ungefàhrlich.

Dieter Hildebrandt


Zum AUSTRAGEN schicken Sie eine Mail an debian-user-german-REQUEST@lists.debian.org
mit dem Subject "unsubscribe". Probleme? Mail an listmaster@lists.debian.org (engl)
Archive: https://lists.debian.org/0MEVU9-1YLLtc3nlh-00Fh48@smtp.web.de
 

Lesen sie die antworten

#1 Matthias Taube
17/02/2015 - 20:40 | Warnen spam
Am 17.02.2015 um 20:18 schrieb Ulrich Fürst:


$ wget -rc -nH --cut-dirs=6 --max-redirect=0 --no-host-directories $URL


Wie können nicht mal 30 MB Dateien 12 GB Arbeitsspeicher voll laufen



Habe ich bei mir noch nie beobachtet. Evtl. eine Schleife im Dateisystem
oder eine dynamische Namensvergabe auf Serverseite, die die gleiche
Datei unter immer neuen Namen erneut ausliefert?

Ich bin aber dazu übergegangen die Dateien des Webservers mittels rsync
zu holen, dass ist viel stabiler.

mfg
Matthias




Zum AUSTRAGEN schicken Sie eine Mail an
mit dem Subject "unsubscribe". Probleme? Mail an (engl)
Archive: https://lists.debian.org/mc059k$5kk$

Ähnliche fragen