Grosse Dateien schnell in einen Container umschaufeln

06/11/2009 - 22:48 von Bernd Hohmann | Report spam
So,

dank der kompetenten Hilfe aller hab ich nun mein Backup-Script für
VirtualBox VMs am Start.

Letztes Problem: wie bekomme ich diese (1-100GB) grossen Dateien
möglichst flink in einen Container, damit das als eine einzelne Datei
von einer externen Datensicherung abgeholt werden kann?

Die Server sind in der Regel RAID-5 oder RAID-0, die Workstation hier
nur ne einzelne Platte. Alle Systeme haben alles auf einer Partition
(bis auf Swap).

Ich habe bisserl mit tar, rar und 7z (jeweils kompressionslevel 0 + 1)
herumgespielt, das ist alles nicht so berauschend (ein einfacher "cp"
aber auch nicht).

Eine Kompression hat den Charm, dass ich weniger Bytes schreiben muss
als lesen. Hat aber den Seiteneffekt, dass selbst die gàngigen
Kompressionslevels "1" schon viel zu langsam sind.

Es steht als Seitenbedingung noch das Problem an, wie ich diesen
Container generiere und auf einen Backup-Server abziehe - eventuell
könnte man da irgendwie nur den Container mit TAR erzeugen und wàrend
der Übertragung den Stream komprimieren.

Oder nur den Container mit TAR erzeugen und beten, dass zb. rsync was
optimieren kann.

Hat da ein Kollege aus der "Grossindustriellen Praxis" eine helfende
Hand für mich?

Bernd

Visit http://www.nixwill.de and http://www.spammichvoll.de
jean.oliver@nixwill.de & bernado.bernhardi@spammichvoll.de
 

Lesen sie die antworten

#1 Juergen P. Meier
07/11/2009 - 07:44 | Warnen spam
Bernd Hohmann :
Es steht als Seitenbedingung noch das Problem an, wie ich diesen
Container generiere und auf einen Backup-Server abziehe - eventuell
könnte man da irgendwie nur den Container mit TAR erzeugen und wàrend
der Übertragung den Stream komprimieren.

Oder nur den Container mit TAR erzeugen und beten, dass zb. rsync was
optimieren kann.

Hat da ein Kollege aus der "Grossindustriellen Praxis" eine helfende
Hand für mich?



Es ist alles eine Frage der Flaschenhaelse:

1.) I/O lesegeschwindigkeit auf dem VM-Server
2.) I/O schreibgeschwindigkeit auf dem VM-Server (z.B. fuer temp archive)
3.) CPU Kompressions-Durchsatz auf dem VM-server (verfuegbare CPU-Kapazitaet)
4.) Netzwerk-I/O Durchsatz zwischen VM-Server und Backup-Server
5.) CPU Kompressions-Durchsatz auf dem Backup-server
6.) I/O Schreibgeschwindigkeit auf dem Backup-Server (fuer temp archive)
7.) Kompressionsrate

Diese Faktoren musst du ermitteln, um die geeignetste Backup-Variante
zu waehlen.

Wenn du nur 100mbit/s Netz hast, wirds einfach:
Wenn komprimieren schnneller als 10Mbyte/sec ist, komprimier das lokal
und uebertrage dann das komprimierte Archiv. Das ist dann immer schneller.

Ansonsten einfach alle Schritte eines Backpus in sequentielle
schritte zerlegen (z.B.: lesen+tar+kompression+temp-speichern = ein schritt,
lesen_vm+netz-uebertragen+schreiben_backup = ein schritt). Bei den
Schritten bestimmt die langsamste der parallelen Aktionen die
Gesammtgeschwindigkeit, mit durch die du die Datenmenge teilen musst.

Die Dauer der einzelnen sequentiellen Schritte addierst du und
vergleichst dann.

Juergen
Juergen P. Meier - "This World is about to be Destroyed!"
end
If you think technology can solve your problems you don't understand
technology and you don't understand your problems. (Bruce Schneier)

Ähnliche fragen